Ollama-OpenWebUIで日本語LLMを使う方法を徹底解説！

UbuntuのターミナルからDockerコンテナにログインします。

docker exec -it ollama /bin/bash

Dockerコンテナ内で必要なパッケージをインストールします。

apt-get update && apt-get install -y curl nano

DeepSeek-R1の日本語モデルをHuggingFaceからダウンロードします。

curl -L -o cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-Q4_K_M.gguf "https://huggingface.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf/resolve/main/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-Q4_K_M.gguf?download=true"

HuggingFaceでお好みのモデルを無料でダウンロードできます！

あわせて読みたい

mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf · Hugging Face We’re on a journey to advance and democratize artificial intelligence through open source and open science.

LLMのモデルがOllama使えるようにプロンプトテンプレートを指定して、モデルを作成します。

モデルファイルを作成して、編集します。

nano Modelfile

開いたモデルファイルに以下のコードをコピペします。

FROM ./cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-Q4_K_M.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}"""
PARAMETER stop <｜begin▁of▁sentence｜>
PARAMETER stop <｜end▁of▁sentence｜>
PARAMETER stop <｜User｜>
PARAMETER stop <｜Assistant｜>

コピペ後に「Ctrl + S」で変更を保存し、「Ctrl + X」で編集を終了します。

Ollamaにカスタムモデルを登録し、実行できる状態にします。

ollama create cyberagent-deepSeek-r1-32b -f Modelfile

successと表示されたら、モデルの登録が完了です！

UbuntuのターミナルからOllama-OpenWebUIを再起動します。    

docker compose up

コンテナが起動したら、ローカルPCの「ブラウザの検索窓」に以下のURLを入力し、Enterを押すとOpenWebUIの画面が表示されます。

http://localhost:8080/

この記事では、ローカルポート8080を使用してOllamaを起動しています。

ダウンロードしたモデルを選択します。

プロンプトを入力して、矢印ボタンを押します。

入力したプロンプトに対して、モデルが回答を生成します。