サイバーエージェントのVLM「llava-calm2-siglip」の使い方！

コンテナにインストールするパッケージは以下のとおりです。

CUDA、PyTorch、Transformersはバージョン依存関係によるエラーが起きやすいので、動作検証済のバージョン指定してインストールしています。

Ubuntuのコマンドラインで、Dockerfileを作成します。

mkdir llava_calm2
cd llava_calm2
nano Dockerfile

Dockerfileに以下の記述を貼り付けます。

# ベースイメージ(CUDA)の指定
FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.04

# 必要なパッケージをインストール
RUN apt-get update && apt-get install -y python3-pip python3-venv git nano

# 作業ディレクトリを設定
WORKDIR /app

# アプリケーションコードをコピー
COPY . /app

# Python仮想環境の作成
RUN python3 -m venv /app/.venv

# 仮想環境をアクティベートするコマンドを.bashrcに追加
RUN echo "source /app/.venv/bin/activate" >> /root/.bashrc

# JupyterLabのインストール
RUN /app/.venv/bin/pip install Jupyter jupyterlab

# PyTorchのインストール
RUN /app/.venv/bin/pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu121

# Transformer関連のインストール
RUN /app/.venv/bin/pip install transformers==4.41.2 \
    packaging \
    accelerate \
    Pillow \
    Requests \
    wheel 

# Flash attentionをインストール
RUN /app/.venv/bin/pip install flash-attn --no-build-isolation

# コンテナの起動時にbashを実行
CMD ["/bin/bash"]

[Ctrl + S]キーで変更内容を保存し、[Ctrl + X]キーで編集モードから抜けます。

docker-compose.ymlでDockerコンテナの設定をします。

docker-compose.ymlのYAMLファイルを作成して開きます。

nano docker-compose.yml

以下のコードをコピーして、YAMLファイルに貼り付けます。

services:
  llava_calm2:
    build:
      context: .
      dockerfile: Dockerfile
    image: llava_calm2
    runtime: nvidia
    container_name: llava_calm2
    ports:
      - "8888:8888"
    volumes:
      - .:/app/llava_calm2
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    command: >
      bash -c '/app/.venv/bin/jupyter lab --ip="*" --port=8888 --NotebookApp.token="" --NotebookApp.password="" --no-browser --allow-root'

[Ctrl + S]キーで変更内容を保存し、[Ctrl + X]キーで編集モードから抜けます。

Dockerfileからビルドしてコンテナを起動します。   

docker compose up

Dockerの起動後にブラウザの検索窓に”localhost:8888″を入力すると、Jupyter Labをブラウザで表示できます。

localhost:8888

Jupyter Labのコードセルに次のコマンドを実行して、ライブラリをインポートします。

from PIL import Image 
import requests 
from transformers import AutoProcessor, LlavaForConditionalGeneration
import torch

llava-calm2-siglipのモデルとトークナイザーを読み込みます。

model_id = "cyberagent/llava-calm2-siglip"

model = LlavaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="cuda",
    _attn_implementation='flash_attention_2'
).to(0)

processor = AutoProcessor.from_pretrained(
model_id,
)

モデルを読み込む際にGPUメモリを消費しますので、余裕を持ったGPUメモリをご用意ください。

画像とテキストを入力して、テキストを生成する関数を定義します。

def textvision(prompt, path_image):
    image = Image.open(path_image)

    inputs = processor(prompt, image, return_tensors="pt").to("cuda:0", torch.bfloat16)

    generate_ids = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=True,
    )

    response = processor.tokenizer.decode(
        generate_ids[0][:-1],
        skip_special_tokens=True,
        clean_up_tokenization_spaces=False
    )
    
    resized_image = image.resize((int(image.width * 0.5), int(image.height * 0.5)))
    resized_image.show()
    print(response)