GPT-4超えの日本語LLM「Llama-3-ELYZA-JP」の性能・使い方！

コンテナにインストールするパッケージは以下のとおりです。

CUDA、PyTorch、Transformersはバージョン依存関係によるエラーが起きやすいので、動作検証済のバージョン指定してインストールしています。

Ubuntuのコマンドラインで、Dockerfileを作成します。

mkdir elyza3_inference
cd elyza3_inference
nano Dockerfile

Dockerfileに以下の記述を貼り付けます。

# ベースイメージ(CUDA)の指定
FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.04

# 必要なパッケージをインストール
RUN apt-get update && apt-get install -y python3-pip python3-venv git nano

# 作業ディレクトリを設定
WORKDIR /app

# アプリケーションコードをコピー
COPY . /app

# Python仮想環境の作成
RUN python3 -m venv /app/.venv

# 仮想環境をアクティベートするコマンドを.bashrcに追加
RUN echo "source /app/.venv/bin/activate" >> /root/.bashrc

# JupyterLabのインストール
RUN /app/.venv/bin/pip install Jupyter jupyterlab

# PyTorchのインストール
RUN /app/.venv/bin/pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu121

# Transformer関連のインストール
RUN /app/.venv/bin/pip install transformers==4.41.2 accelerate bitsandbytes

# コンテナの起動時にbashを実行
CMD ["/bin/bash"]

[Ctrl + S]キーで変更内容を保存し、[Ctrl + X]キーで編集モードから抜けます。

docker-compose.ymlでDockerコンテナの設定をします。

docker-compose.ymlのYAMLファイルを作成して開きます。

nano docker-compose.yml

以下のコードをコピーして、YAMLファイルに貼り付けます。

services:
  elyza3_inference:
    build:
      context: .
      dockerfile: Dockerfile
    image: elyza3_inference
    runtime: nvidia
    container_name: elyza3_inference
    ports:
      - "8888:8888"
    volumes:
      - .:/app/elyza3_inference
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    command: >
      bash -c '/app/.venv/bin/jupyter lab --ip="*" --port=8888 --NotebookApp.token="" --NotebookApp.password="" --no-browser --allow-root'

[Ctrl + S]キーで変更内容を保存し、[Ctrl + X]キーで編集モードから抜けます。

Dockerfileからビルドしてコンテナを起動します。   

docker compose up

Dockerの起動後にブラウザの検索窓に”localhost:8888″を入力すると、Jupyter Labをブラウザで表示できます。

localhost:8888

Jupyter Labのコードセルに次のコマンドを実行して、ライブラリをインポートします。

import torch
import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

Llama-3-ELYZA-JPのモデルとトークナイザーを読み込みます。

model_id = "elyza/Llama-3-ELYZA-JP-8B"

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)

モデルを読み込む際にGPUメモリを消費しますので、余裕を持ったGPUメモリをご用意ください。

AWQの量子化モデル「elyza/Llama-3-ELYZA-JP-8B-AWQ」を使う場合は、vllmなどの環境構築が必要です。

あわせて読みたい

vLLMの使い方！LLMをローカルで高速に動かす vLLMはローカル環境でLLMが使える無料のライブラリです。 vLLMを使えば、LLMによるテキスト生成を高速に行えるようになります。 この記事では、vLLMの環境構築からモデ…

GGUFの量子化モデル「elyza/Llama-3-ELYZA-JP-8B-GGUF」を使う場合は、Ollamaやllama.cppなどの環境構築が必要です。

あわせて読みたい

OllamaでLlama-3-ELYZA-JP-8Bを使う方法！ この記事では、OllamaでLlama-3-ELYZA-JP-8Bを使う方法を紹介します。 Llama-3-ELYZA-JP-8Bは、GPT-3.5 Turboに匹敵する性能を持つ日本語LLMです。 Ollamaを使えば、Lla…

あわせて読みたい

【llama-cpp-python】ローカル環境でのLLMの使い方！ llama-cpp-pythonはローカル環境でLLMが使える無料のライブラリです。 llama.cppをpythonで動かすことができるため、簡単に環境構築ができます。 この記事では、llama-c…