【LangChain】Tavily Search APIの使い方！『キングオブコント』を聞く

Tavily公式サイトにアクセスし、「Get Started」ボタンをクリックします。

あわせて読みたい

Tavily Tavily is a search engine tailored for AI agents, delivering real-time, accurate results, intelligent query suggestions, and in-depth research capabilities.

「Sign In」ボタンをクリックします。

「メールアドレス」、「パスワード」を入力し、「Continue」　ボタンをクリックします。

ホーム画面に発行されたAPIキーが表示されるので、これをコピーして安全な場所に保存します。

Ubuntuのコマンドラインで、Dockerfileを作成します。

mkdir tavily
cd tavily
nano Dockerfile

Dockerfileに以下の記述を貼り付けます。

# ベースイメージ(CUDA)の指定
FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.04

# 必要なパッケージをインストール
RUN apt-get update && apt-get install -y python3-pip python3-venv git nano curl

RUN curl -fsSL https://ollama.com/install.sh | sh

# 作業ディレクトリを設定
WORKDIR /app

# アプリケーションコードをコピー
COPY . /app

# Python仮想環境の作成
RUN python3 -m venv /app/.venv

# 仮想環境をアクティベートするコマンドを.bashrcに追加
RUN echo "source /app/.venv/bin/activate" >> /root/.bashrc

# JupyterLabのインストール
RUN /app/.venv/bin/pip install Jupyter jupyterlab

# LangChain関連のインストール
RUN /app/.venv/bin/pip install ollama langchain-ollama langchain langsmith langchain-chroma faiss-gpu langchain-community langchain_huggingface langchain_core tiktoken tavily-python

# コンテナの起動時にbashを実行
CMD ["/bin/bash"]

[Ctrl + S]キーで変更内容を保存し、[Ctrl + X]キーで編集モードから抜けます。

docker-compose.ymlでDockerコンテナの設定をします。

docker-compose.ymlのYAMLファイルを作成して開きます。

nano docker-compose.yml

以下のコードをコピーして、YAMLファイルに貼り付けます。

services:
  tavily:
    build:
      context: .
      dockerfile: Dockerfile
    image: tavily
    runtime: nvidia
    container_name: tavily
    ports:
      - "8888:8888"
    volumes:
      - .:/app/tavily
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    command: >
      bash -c '/usr/local/bin/ollama serve & /app/.venv/bin/jupyter lab --ip="*" --port=8888 --NotebookApp.token="" --NotebookApp.password="" --no-browser --allow-root'

[Ctrl + S]キーで変更内容を保存し、[Ctrl + X]キーで編集モードから抜けます。

Dockerfileからビルドしてコンテナを起動します。   

docker compose up

Dockerの起動後にブラウザの検索窓に”localhost:8888″を入力すると、Jupyter Labをブラウザで表示できます。

localhost:8888

LangChainに関する環境変数を設定します。

import os
from uuid import uuid4

unique_id = uuid4().hex[0:8]

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_PROJECT"] = f"tavily - {unique_id}"
os.environ["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com"
os.environ["LANGCHAIN_API_KEY"] = "***************"
os.environ["TAVILY_API_KEY"] = "***************"

日本語LLMモデル「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」をダウンロードします。

!curl -L -o Llama-3-ELYZA-JP-8B-q4_k_m.gguf "https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF/resolve/main/Llama-3-ELYZA-JP-8B-q4_k_m.gguf?download=true"

Llama-3-ELYZA-JPについては、別記事で詳しく解説しています。

あわせて読みたい

GPT-4超えの日本語LLM「Llama-3-ELYZA-JP」の性能・使い方！ Llama-3-ELYZA-JPは、東大・松尾研発のスタートアップELYZAが公開した日本語LLMです。 Llama-3-ELYZA-JP-70Bは、「GPT-4」や「Claude 3 Sonnet」を上回る性能があります…

LLMの実行にはOllamaを使用します。

LLMのモデルがOllama使えるようにプロンプトテンプレートを指定して、モデルを作成します。

import ollama
from langchain_ollama.chat_models import ChatOllama

modelfile='''
FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
'''

ollama.create(model='elyza8b', modelfile=modelfile)
llm = ChatOllama(model="elyza8b", temperature=0)

Ollamaの詳しい使い方は、別の記事で解説しています。

あわせて読みたい

OllamaをPythonで使いたい！ローカルLLMを快適に動かす！ ollama-pythonはPython環境でOllamaが使える無料のライブラリです。 ollama-pythonを利用すれば、ローカルLLMをAPIで簡単に活用できたり、RAGやエージェントへの統合も…

TavilySearchAPIRetrieverを使用して、Web検索の設定とRetrieverの設定をします。

from langchain_community.retrievers import TavilySearchAPIRetriever

retriever = TavilySearchAPIRetriever(
    k=5,
    search_depth="advanced",
    include_answer=True,
    include_raw_content=True,
)
retriever.invoke("キングオブコント2024のファイナリストを教えてください")

5件の検索結果が得られています。

[Document(metadata={'title': '『キングオブコント2024』コットン、ロコディ、ニッ社、や団、隣人ら決勝進出10組が決定（ENCOUNT） - Yahoo!ニュース', 'source': 'https://news.yahoo.co.jp/articles/ca13e5720f71ba0095afbf5153037a77563e2140', 'score': 0.99937123, 'images': []}, page_content='『キングオブコント2024』決勝進出10組が決定。コットン、ロコディ、ニッ社、や団、隣人らがファイナリスト。以下省略'),

Document(metadata={'title': '『キングオブコント2024』決勝進出10組決定 cacao、ダンビラムーチョ、シティホテル3号室が初進出 決戦は10月12日【コメントあり ...', 'source': 'https://news.yahoo.co.jp/articles/70aed1d9a276a60060b8897c29eb33cec3dc4085', 'score': 0.9990782, 'images': []}, page_content='『キングオブコント2024』決勝進出10組決定。cacao、ダンビラムーチョ、シティホテル3号室が初進出。以下省略'),

Document(metadata={'title': '『キングオブコント』ファイナリスト10組発表 ロングコートダディ、ラブレターズ、ニッポンの社長ら【一覧掲載】', 'source': 'https://news.goo.ne.jp/article/oricon/entertainment/oricon-2344376.html', 'score': 0.99890983, 'images': []}, page_content='『キングオブコント』ファイナリスト10組が発表され、ロングコートダディ、ラブレターズ、ニッポンの社長らが進出。以下省略'),

Document(metadata={'title': '『キングオブコント』ファイナリスト10組発表【随時更新】 | Oricon News', 'source': 'https://www.oricon.co.jp/news/2344376/full/', 'score': 0.9988531, 'images': []}, page_content='『キングオブコント2024』ファイナリスト10組が発表。ロングコートダディ、ラブレターズ、隣人らが進出。以下省略'),

Document(metadata={'title': '【会見レポート】「キングオブコント2024」cacao、シティホテル3号室、ダンビラムーチョが初の決勝（写真36枚）', 'source': 'https://natalie.mu/owarai/news/590531', 'score': 0.9986276, 'images': []}, page_content='「キングオブコント2024」cacao、シティホテル3号室、ダンビラムーチョが初の決勝進出。以下省略')
]

コンテキストに基づいて質問に答えるためのプロンプトテンプレートを定義しています。

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "提供されたコンテキストのみに基づいて質問に答えてください。"),
    ("user", "Context: {context}\n\n　Question: {question}")
])

ユーザーの質問を元にコンテキストを取得し、プロンプトを通じてLLMに質問を投げ、結果を文字列として出力するChainを構築しています。

from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser

chain = (
    RunnablePassthrough.assign(context=(lambda x: x["question"]) | retriever)
    | prompt
    | llm
    | StrOutputParser()
)