OllamaでLlama-3-ELYZA-JP-8Bを使う方法！

以下の記事を参考にOllamaの環境構築からログインまで実行します。

あわせて読みたい

Ollamaの使い方！ローカル環境でLLMを動かす Ollamaはローカル環境でLLMが使える無料のツールです。 Ollamaを使えば、LlamaやGemmaなどの人気LLMをローカル環境で動かすことができます。 この記事では、Ollamaの環…

以下の画面が表示されたら、Ollamaへのログインが完了です。

HuggingFaceから「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」のモデルページにアクセスします。

あわせて読みたい

elyza/Llama-3-ELYZA-JP-8B-GGUF at main We’re on a journey to advance and democratize artificial intelligence through open source and open science.

「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」の行にある「ダウンロードアイコン」をクリックすると、モデルをローカル環境にダウンロードできます。

「画面右上の丸いアイコン」から「Settings」を開きます。

サイドバーから「Admin Settings」を開きます。

サイドバーから「Models」を開き、「Experimental」の「Show」をクリックします。

「Upload a GGUF model」の下にある「Click here to select」をクリックすると、

「ファイル選択ダイアログ」がポップアップ表示されます。

そのダイアログから、先ほどダウンロードした「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」を選びます。

「Modelfile Content」に以下のチャットテンプレートを貼り付けます。

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

チャットテンプレートはモデルによって異なりますので、ご注意ください。

「アップロードボタン」をクリックします。

「SUCCESS」という表示がでたらアップロード完了です。

アップロードに時間がかかる場合があります。この記事では15分ほどかかりました。

OllamaのDockerコンテナを起動した状態で、コンテナにログインします。

docker exec -it ollama /bin/bash

必要なパッケージをインストールします。

apt-get install -y curl nano

コマンドラインでカスタムモデルをダウンロードします。

curl -L -o Llama-3-ELYZA-JP-8B-q4_k_m.gguf
"https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF/resolve/main/Llama-3-ELYZA-JP-8B-q4_k_m.gguf?download=true"

モデルのダウンロードは３分程度で完了しました！

モデルファイルを作成し編集します。

nano Modelfile

開いたモデルファイルに以下のテンプレートを貼り付けます。

FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

「Ctrl」+「S」キーを押し、「Ctrl」+「X」キーを押して編集モードを終了します。

モデルファイルを指定して、Ollamaで使えるモデルを作成します。

ollama create Llama-3-ELYZA-JP-8B-q4_k_m.gguf -f Modelfile

successが表示されたらモデルの作成が完了です。

画面左上の「New Chat」から「Select a model」を開き、

「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」を選択します。

「画面下のボックス」に”プロンプト”を入力し「矢印」ボタンを押します。

「三重県の観光地を教えて下さい。」というプロンプトを実行しています。

三重県の観光情報が詳しく回答されています！