DeepSeek-R1の「日本語モデル」とは？ローカルでの使い方を解説！

Ubuntuのコマンドラインで、Dockerfileを作成します。

mkdir deepseekr1-cyber
cd deepseekr1-cyber
nano Dockerfile

Dockerfileに以下の記述を貼り付けます。

# ベースイメージ(CUDA)の指定
FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.04

# 必要なパッケージをインストール
RUN apt-get update && apt-get install -y python3-pip python3-venv git nano curl

# Ollamaをインストール
RUN curl -fsSL https://ollama.com/install.sh | sh

# 作業ディレクトリを設定
WORKDIR /app

# アプリケーションコードをコピー
COPY . /app

# Python仮想環境の作成
RUN python3 -m venv /app/.venv

# 仮想環境をアクティベートするコマンドを.bashrcに追加
RUN echo "source /app/.venv/bin/activate" >> /root/.bashrc

# JupyterLabのインストール
RUN /app/.venv/bin/pip install Jupyter jupyterlab

# PyTorchのインストール
RUN /app/.venv/bin/pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu121

# Transformers関連のインストール
RUN /app/.venv/bin/pip install transformers==4.47.0 accelerate bitsandbytes

# Ollama関連のインストール
RUN /app/.venv/bin/pip install ollama==0.4.4

# コンテナの起動時にbashを実行
CMD ["/bin/bash"]

[Ctrl + S]キーで変更内容を保存し、[Ctrl + X]キーで編集モードから抜けます。

FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.04

RUN apt-get update && apt-get install -y python3-pip python3-venv git nano curl

RUN curl -fsSL https://ollama.com/install.sh | sh

RUN /app/.venv/bin/pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu121

RUN /app/.venv/bin/pip install transformers==4.47.0 accelerate bitsandbytes

RUN /app/.venv/bin/pip install ollama==0.4.4

docker-compose.ymlでDockerコンテナの設定をします。

docker-compose.ymlのYAMLファイルを作成して開きます。

nano docker-compose.yml

以下のコードをコピーして、YAMLファイルに貼り付けます。

services:
  deepseekr1-cyber:
    build:
      context: .
      dockerfile: Dockerfile
    image: deepseekr1-cyber
    runtime: nvidia
    container_name: deepseekr1-cyber
    ports:
      - "8888:8888"
    volumes:
      - .:/app/deepseekr1-cyber
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    command: >
      bash -c '/usr/local/bin/ollama serve & /app/.venv/bin/jupyter lab --ip="*" --port=8888 --NotebookApp.token="" --NotebookApp.password="" --no-browser --allow-root'

[Ctrl + S]キーで変更内容を保存し、[Ctrl + X]キーで編集モードから抜けます。

bash -c '/usr/local/bin/ollama serve

& /app/.venv/bin/jupyter lab --ip="*" --port=8888 --NotebookApp.token="" --NotebookApp.password="" --no-browser --allow-root'

Dockerfileからビルドしてコンテナを起動します。   

docker compose up

Dockerの起動後にブラウザの検索窓に”localhost:8888″を入力すると、Jupyter Labをブラウザで表示できます。

localhost:8888

Dockerコンテナで起動した JupyterLab上で、モデルを実装していきます。

DeepSeek-R1の日本語モデル「cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese」をダウンロードします。

import torch
import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer,BitsAndBytesConfig

model_id = "cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese"

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
)

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="cuda",
    quantization_config=quantization_config, 
)

DeepSeek-R1の他のモデルは？

あわせて読みたい

【DeepSeek-R1】各モデルの性能・必要なGPUメモリ・商用利用を解説！ DeepSeek-R1は、中国のAI企業DeepSeekが開発した最新の大規模言語モデル（LLM）です。 DeepSeek-R1は、無料で使えるオープンソースでありながら、OpenAIのo1モデルに匹…

model_id = "cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese"

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
)

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="cuda",
    quantization_config=quantization_config, 
)

DeepSeek-R1の日本語モデルを使用して、実際にテキストを生成してみます。

DEFAULT_SYSTEM_PROMPT = "あなたは日本語で回答するアシスタントです。"
text = """
ＰＱＲＳの4人チームで毎年恒例のサッカーの総当たり戦が行われた。
順位に関して次のことが分かっている。なお、同じ順位のチームはない。
Ⅰ　Ｐは昨年より順位が3つ下だった。
Ⅱ　Ｑは今年と昨年で順位が変わらなかった。
Ⅲ　Ｒは今年2位であった。
今年の順位を左が上位として並べたとき、ただしいものを選べ。
＜選択肢＞
A.SRPQ
B.SRQP
C.PRSQ
D.RPQS
"""

messages = [
    {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
    {"role": "user", "content": text},
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

token_ids = tokenizer.encode(
    prompt, add_special_tokens=False,
    return_tensors="pt"
)

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=4096,
        do_sample=True,
        temperature=0.7,
    )

output = tokenizer.decode(
    output_ids.tolist()[0][token_ids.size(1):], 
    skip_special_tokens=True
)
print(output)

messages = [
    {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
    {"role": "user", "content": text},
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

token_ids = tokenizer.encode(
    prompt, add_special_tokens=False,
    return_tensors="pt"
)

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=4096,
        do_sample=True,
        temperature=0.7,
    )

output = tokenizer.decode(
    output_ids.tolist()[0][token_ids.size(1):], 
    skip_special_tokens=True
)

モデルの回答

<think>
まず、問題を整理します。4人チームP、Q、R、Sが総当たり戦で順位を決め、今年の順位を左が上位で並べたものを選ぶ問題です。選択肢はAからDまであります。

条件を一つずつ確認します。

Ⅰ：Pは昨年より順位が3つ下になった。つまり、昨年のPの順位から今年が3つ下。例えば、昨年が1位なら今年は4位、昨年が2位なら今年は5位（不可能）、よって昨年が1位の場合、今年は4位になる。ただし、総当たり戦なので4チームなので、昨年が1位なら今年は4位、昨年が2位なら今年は5位（不可能）なので、Pの昨年の順位は1位しかあり得ない。つまり、Pは昨年1位で、今年は4位。

Ⅱ：Qは今年と昨年で順位が変わらなかった。つまり、Qの順位は昨年と同じ。

Ⅲ：Rは今年2位であった。つまり、今年の順位はRが2位。

選択肢を見ると、今年の順位がRが2位である必要がある。選択肢AはSRPQ→Rが3位、BはSRQP→Rが2位、CはPRSQ→Rが2位、DはRPQS→Rが1位。つまり、BとCとDの一部がRが2位の可能性。

しかし、ⅢよりRは今年2位なので、選択肢B（SRQP）はRが2位、C（PRSQ）はRが2位、D（RPQS）はRが1位なのでDはRが2位でない。したがって、Dは除外される。

次に、Pの今年の順位は4位（昨年1位→今年4位）。選択肢Bの順位はS（1位）、R（2位）、Q（3位）、P（4位）→Pは4位で条件Ⅰを満たす。Qは今年3位、昨年も3位（条件Ⅱ）。Rは今年2位（条件Ⅲ）。Sは今年1位。

選択肢C（PRSQ）は順位がP（1位）、R（2位）、S（3位）、Q（4位）。すると、Pは今年1位で、昨年は1位→今年も1位だが、条件ⅠではPは昨年より3つ下（昨年1位→今年4位）なので矛盾。したがってCは不適切。

選択肢BのS（1位）、R（2位）、Q（3位）、P（4位）→Qは今年3位、昨年も3位（条件Ⅱ）。Rは今年2位（条件Ⅲ）。Pは昨年1位→今年4位（条件Ⅰ）。Sは今年1位。これで全ての条件を満たす。

選択肢A（SRPQ）は順位S、R、P、Q。Rは2位（条件ⅢOK）、Pは3位。Pは昨年1位→今年3位→3つ下になるのは昨年1位→今年4位なので、矛盾。よってAは不適切。

したがって、正解は選択肢B（SRQP）。
</think>

**解答:**  
選択肢 **B. SRQP** が正しいです。

---

### **解説ステップ**
1. **条件Ⅰ（Pの順位）**  
   - 昨年1位 → 今年4位（「3つ下」の解釈）。  
   - 例: 昨年1位 → 今年4位（4チームのため、3つ下がる）。

2. **条件Ⅱ（Qの順位）**  
   - 今年と昨年で順位が同じ。  
   - 例: 今年3位 → 昨年も3位。

3. **条件Ⅲ（Rの順位）**  
   - 今年2位。

4. **選択肢の検証**  
   - **選択肢B（SRQP）**:  
     - 今年の順位: S（1位）, R（2位）, Q（3位）, P（4位）。  
     - - Pは昨年1位 → 今年4位（条件ⅠOK）。  
     - - Qは今年3位 → 昨年も3位（条件ⅡOK）。  
     - - Rは今年2位（条件ⅢOK）。  
     - - Sは今年1位（未記載条件だが矛盾なし）。  
   - 他の選択肢は条件と矛盾します（例: 選択肢CのPが今年1位→昨年1位と矛盾）。

---

### **結論**  
今年の順位は **S（1位）→ R（2位）→ Q（3位）→ P（4位）** となり、選択肢 **B. SRQP** が正解です。

推論過程から日本語になっています！

Dockerコンテナで起動した JupyterLab上で、モデルを実装していきます。

HuggingFaceから「mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf」をダウンロードします。

!curl -L -o cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-Q4_K_M.gguf "https://huggingface.co/mmnga/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf/resolve/main/cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-Q4_K_M.gguf?download=true"

DeepSeek-R1の他のモデルは？

あわせて読みたい

【DeepSeek-R1】各モデルの性能・必要なGPUメモリ・商用利用を解説！ DeepSeek-R1は、中国のAI企業DeepSeekが開発した最新の大規模言語モデル（LLM）です。 DeepSeek-R1は、無料で使えるオープンソースでありながら、OpenAIのo1モデルに匹…

ダウンロードしたモデルをOllamaで使用できるように設定します。

import ollama

modelfile='''
FROM ./cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-Q4_K_M.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}"""
PARAMETER stop <｜begin▁of▁sentence｜>
PARAMETER stop <｜end▁of▁sentence｜>
PARAMETER stop <｜User｜>
PARAMETER stop <｜Assistant｜>
'''
ollama.create(model='deepseekr1-32b-jpn', modelfile=modelfile)

status=’success’が表示されたら、モデルのダウンロードが完了です。

modelfile='''

FROM ./cyberagent-DeepSeek-R1-Distill-Qwen-32B-Japanese-Q4_K_M.gguf

TEMPLATE """{{- if .System }}{{ .System }}{{ end }}...

ollama.create(model='deepseekr1-32b-jpn', modelfile=modelfile)

DeepSeek-R1の日本語モデルを使用して、実際にテキストを生成してみます。

DEFAULT_SYSTEM_PROMPT = "あなたは日本語で回答するアシスタントです。"

text ="""
X、Y、Zが同じ絵を見てて、次のように発言した。

X　この絵には虎が描かれている。
Y　この絵には少なくとも虎か龍が描かれている。
Z　この絵には龍が描かれている。

全員が本当のことを言っているとは限らない。そこで、以下の推論がなされた。次のうち正しいものを一つ選びなさい。

A. Yが正しければXは必ず正しい
B. Zが正しければYは必ず正しい
C. Xが正しければZは必ず正しい
"""

response = ollama.chat(model='deepseekr1-32b-jpn', messages=[
    {
        'role': 'system',
        'content': DEFAULT_SYSTEM_PROMPT,
    },
    {
        'role': 'user',
        'content': text,
    },
])
print(response['message']['content'])

モデルの回答

<think>
まず問題を整理しましょう。X、Y、Zの3人が同じ絵を見ていて、それぞれ異なる発言をしています。彼らは必ずしも真実を話しているとは限りません。ここから、各選択肢（A、B、C）が正しいかどうかを論理的に検証する必要があります。

まず、Xの発言は「絵には虎が描かれている」です。Yは「少なくとも虎か龍が描かれている」と言い、Zは「龍が描かれている」と言っています。

各選択肢について順番に考えてみます。

A. Yが正しければXは必ず正しい。
この場合、Yの発言が真であれば、絵には虎か龍の少なくとも1つがあることになります。ここで、もしYが正しい（即ち絵に虎か龍が存在する）とき、Xが正しいかどうかはどうなるでしょうか？ Xは「虎が描かれている」と主張しています。しかし、例えば絵に龍だけがあれば、Yは正しいがXは誤りとなります。したがって、Aの選択肢は成り立たない（反例があるため）と言えます。

B. Zが正しければYは必ず正しい。
Zが正しいということは、絵には龍が描かれているということです。その場合、Yの発言「少なくとも虎か龍がある」を満たすのは明らかです。なぜなら、龍が存在するので条件を満たすからです。したがって、Bは正しいと言えます。

C. Xが正しければZは必ず正しい。
Xが正しいということは、絵に虎が描かれていることになります。しかし、その場合でもZの発言（龍が描かれている）が真かどうかは分かりません。例えば、虎だけが描かれていてもXは正しいがZは誤りです。したがって、Cは成り立ちません。

以上より、正解はBとなります。
</think>

**答え：B. Zが正しければYは必ず正しい**

### 論理的根拠
1. **選択肢Aの検証**  
   - Yが「少なくとも虎か龍がある」と正しい場合でも、絵に「龍だけ」があればX（「虎がある」）は誤りになります。  
   - → **反例あり（不成立）**

2. **選択肢Bの検証**  
   - Zが「龍がある」と正しい場合、Yの条件「少なくとも虎か龍がある」は自動的に満たされます。  
   - → **必ず成り立つ**

3. **選択肢Cの検証**  
   - Xが「虎がある」ことが正しい場合でも、絵に「虎だけ」があればZ（「龍がある」）は誤りになります。  
   - → **反例あり（不成立）**

### 結論
- **Bのみが論理的に必然的**であり、他の選択肢には反例が存在します。

正解です！