東大松尾研LLM「Tanuki-8x8B」の使い方・性能・商用利用を解説！

Tanuki-8x8Bは、東京大学松尾・岩澤研究室が開発した日本語特化のLLMです。

日本語での共感的かつ自然な対話や文章生成に優れ、GPT-3.5 Turboと同等の性能を誇ります。

この記事では、Tanuki-8x8Bの性能から使い方まで紹介します。

10/30開催のウェビナーをお知らせ！

参加者募集中

【参加者募集中】無料ウェビナーRAG×日本語LLM

Tanuki-8x8Bとは

Tanuki-8x8Bは、東京大学松尾・岩澤研究室が開発した日本語特化のLLMです。

日本語での共感的かつ自然な対話と文章生成に優れ、GPT-3.5 Turboと同等の性能を誇ります。

このモデルはHugging Faceで無料で公開されており、研究用途および商業利用が可能です。

NVIDIA H200が業界最安級！GPUクラウド「GPUSOROBAN」

GPUのコストでお悩みの方に！

高性能GPU「NVIDIA H200」を業界最安級の料金で利用できます。 NVIDIA H200は、生成AI・LLMの計算にかかる時間を大幅に短縮することが可能です。 クラウドなら大規模な設備投資も必要ありません。

公式サイトを見る資料ダウンロード

Tanuki-8x8Bのモデル

Tanukiシリーズには、8億パラメータのDense構造を持つTanuki-8B-dpo-v1.0と、

47億パラメータのMixture of Experts (MoE)構造を採用したTanuki-8x8B-dpo-v1.0の2つのモデルがあります。

どちらのモデルもHuggingFaceで公開されています。

Tanuki-8x8Bの性能

日本語性能を評価するベンチマークのJapanese MT-Benchでは、Tanuki-8x8Bは他の国産モデルと比較して高い評価を得ています。

特に日本語の対話や作文タスクで高いパフォーマンスを発揮し、GPT-4oやClaude 3.5などのトップモデルと比較しても遜色のない結果を示しています。

Chatbot Arenaでの評価において、Tanuki-8x8Bは国産LLMの中でトップクラスの評価を獲得しました。

Chatbot Arenaは、複数の言語モデルを対戦形式で比較し、人間のフィードバックを基に各モデルの性能をランク付けすることで、実際の使いやすさや応答の質を評価できるシステムです。

Tanuki-8x8Bの商用利用・ライセンス

Tanuki-8x8Bは商用利用が可能で、Apache License 2.0で提供されています。

HuggingFace上でモデルが公開されており、誰でもアクセスして利用することができます。

詳細は「Apache License」のページをご確認ください。

Tanuki-8x8Bの使い方

ここからTanuki-8x8Bを使ったテキスト生成について解説していきます。

実行環境

この記事で用意した実行環境は以下のとおりです。

Dockerで環境構築

Dockerを使用してTanuki-8x8Bの環境構築をします

Dockerの使い方は以下の記事をご覧ください。

あわせて読みたい

UbuntuにDockerをインストール！GPUをコンテナから使う方法 GPUの環境構築では、ソフトウェアのバージョン不一致によるエラーが頻発します。 Dockerを使うことで、このような依存関係のエラーを回避しやすくなります。 この記事で…

mkdir tanuki_8x8
cd tanuki_8x8
nano Dockerfile

# ベースイメージ(CUDA)の指定
FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.04

# 必要なパッケージをインストール
RUN apt-get update && apt-get install -y python3-pip python3-venv git nano

# 作業ディレクトリを設定
WORKDIR /app

# アプリケーションコードをコピー
COPY . /app

# Python仮想環境の作成
RUN python3 -m venv /app/.venv

# 仮想環境をアクティベートするコマンドを.bashrcに追加
RUN echo "source /app/.venv/bin/activate" >> /root/.bashrc

# JupyterLabのインストール
RUN /app/.venv/bin/pip install Jupyter jupyterlab

# PyTorchのインストール
RUN /app/.venv/bin/pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu121

# Transformer関連のインストール
RUN /app/.venv/bin/pip install transformers==4.44.0 accelerate bitsandbytes wheel

# Flash attentionをインストール
RUN /app/.venv/bin/pip install flash-attn --no-build-isolation

# コンテナの起動時にbashを実行
CMD ["/bin/bash"]

nano docker-compose.yml

services:
  tanuki_8x8:
    build:
      context: .
      dockerfile: Dockerfile
    image: tanuki_8x8
    runtime: nvidia
    container_name: tanuki_8x8
    ports:
      - "8888:8888"
    volumes:
      - .:/app/tanuki_8x8
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    command: >
      bash -c '/app/.venv/bin/jupyter lab --ip="*" --port=8888 --NotebookApp.token="" --NotebookApp.password="" --no-browser --allow-root'

docker compose up

localhost:8888

Tanuki-8x8Bの実装

Dockerコンテナで起動したJupyter Lab上でTanuki-8x8Bの実装をします。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer,BitsAndBytesConfig

model_id = "weblab-GENIAC/Tanuki-8x8B-dpo-v1.0"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto",
    quantization_config=BitsAndBytesConfig(load_in_4bit=True),
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

Tanuki-8x8Bでテキスト生成

Tanuki-8x8Bを使って、日本語での質問応答を試してみます。

日本語での質問応答

「掃除が面倒ですが、どのようなモチベーションで臨めばよいですか。」という質問をしてみます。

messages = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "掃除が面倒ですが、どのようなモチベーションで臨めばよいですか。"}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

token_ids = tokenizer.encode(
    input_ids,
    add_special_tokens=False,
    return_tensors="pt"
)

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=256,
        do_sample=True,
        temperature=0.5
    )

output = tokenizer.decode(
    output_ids.tolist()[0][token_ids.size(1):], 
    skip_special_tokens=True
)
print(output)

共感力が高そうです！

日本語での質問応答（2）

「人生最後の日に何をしたいですか。」という質問をしてみます。

messages = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "人生最後の日に何をしたいですか。"}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

token_ids = tokenizer.encode(
    input_ids,
    add_special_tokens=False,
    return_tensors="pt"
)

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_new_tokens=256,
        do_sample=True,
        temperature=0.5
    )

output = tokenizer.decode(
    output_ids.tolist()[0][token_ids.size(1):], 
    skip_special_tokens=True
)
print(output)

寄り添うのが上手そうです！

生成AI・LLMのコストでお困りなら

GPUのスペック不足で生成AIの開発が思うように進まないことはありませんか？

そんなときには、高性能なGPUをリーズナブルな価格で使えるGPUクラウドサービスがおすすめです！

GPUSOROBAN

GPUSOROBANは、高性能GPU「NVIDIA H200」を業界最安級の料金で使用することができます。

NVIDIA H200は、生成AI・LLMの計算にかかる時間を大幅に短縮することが可能です。

クラウドで使えるため、大規模な設備投資の必要がなく、煩雑なサーバー管理からも解放されます。

公式サイトをみる

資料ダウンロード