【LangChain】PDFから回答するRAGを構築！『情報通信白書』を読む

Ubuntuのコマンドラインで、Dockerfileを作成します。

mkdir pdf_rag
cd pdf_rag
nano Dockerfile

Dockerfileに以下の記述を貼り付けます。

# ベースイメージ(CUDA)の指定
FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.04

# 必要なパッケージをインストール
RUN apt-get update && apt-get install -y python3-pip python3-venv git nano curl

RUN curl -fsSL https://ollama.com/install.sh | sh

# 作業ディレクトリを設定
WORKDIR /app

# アプリケーションコードをコピー
COPY . /app

# Python仮想環境の作成
RUN python3 -m venv /app/.venv

# 仮想環境をアクティベートするコマンドを.bashrcに追加
RUN echo "source /app/.venv/bin/activate" >> /root/.bashrc

# JupyterLabのインストール
RUN /app/.venv/bin/pip install Jupyter jupyterlab

# LangChain関連のインストール
RUN /app/.venv/bin/pip install ollama langchain-ollama langchain langsmith langchain-chroma faiss-gpu langchain-community langchain_huggingface langchain_core tiktoken pypdf

# コンテナの起動時にbashを実行
CMD ["/bin/bash"]

[Ctrl + S]キーで変更内容を保存し、[Ctrl + X]キーで編集モードから抜けます。

docker-compose.ymlでDockerコンテナの設定をします。

docker-compose.ymlのYAMLファイルを作成して開きます。

nano docker-compose.yml

以下のコードをコピーして、YAMLファイルに貼り付けます。

services:
  pdf_rag:
    build:
      context: .
      dockerfile: Dockerfile
    image: pdf_rag
    runtime: nvidia
    container_name: pdf_rag
    ports:
      - "8888:8888"
    volumes:
      - .:/app/pdf_rag
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    command: >
      bash -c '/usr/local/bin/ollama serve & /app/.venv/bin/jupyter lab --ip="*" --port=8888 --NotebookApp.token="" --NotebookApp.password="" --no-browser --allow-root'

[Ctrl + S]キーで変更内容を保存し、[Ctrl + X]キーで編集モードから抜けます。

Dockerfileからビルドしてコンテナを起動します。   

docker compose up

Dockerの起動後にブラウザの検索窓に”localhost:8888″を入力すると、Jupyter Labをブラウザで表示できます。

localhost:8888

LangChainに関する環境変数を設定します。

import os
from uuid import uuid4

unique_id = uuid4().hex[0:8]

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_PROJECT"] = f"pdfrag - {unique_id}"
os.environ["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com"
os.environ["LANGCHAIN_API_KEY"] = "***************"

日本語LLMモデル「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」をダウンロードします。

!curl -L -o Llama-3-ELYZA-JP-8B-q4_k_m.gguf "https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF/resolve/main/Llama-3-ELYZA-JP-8B-q4_k_m.gguf?download=true"

Llama-3-ELYZA-JPについては、別記事で詳しく解説しています。

あわせて読みたい

GPT-4超えの日本語LLM「Llama-3-ELYZA-JP」の性能・使い方！ Llama-3-ELYZA-JPは、東大・松尾研発のスタートアップELYZAが公開した日本語LLMです。 Llama-3-ELYZA-JP-70Bは、「GPT-4」や「Claude 3 Sonnet」を上回る性能があります…

LLMの実行にはOllamaを使用します。

LLMのモデルがOllama使えるようにプロンプトテンプレートを指定して、モデルを作成します。

import ollama
from langchain_ollama.chat_models import ChatOllama

modelfile='''
FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
'''

ollama.create(model='elyza8b', modelfile=modelfile)
llm = ChatOllama(model="elyza8b", temperature=0)

Ollamaの詳しい使い方は、別の記事で解説しています。

あわせて読みたい

OllamaをPythonで使いたい！ローカルLLMを快適に動かす！ ollama-pythonはPython環境でOllamaが使える無料のライブラリです。 ollama-pythonを利用すれば、ローカルLLMをAPIで簡単に活用できたり、RAGやエージェントへの統合も…

PDFからテキストデータを抽出して、読み込みます。

総務省のページから『令和6年版情報通信白書』のPDFをダウンロードして使用しています。

from langchain_community.document_loaders import PyPDFLoader

file_paths = ["00zentai_part1.pdf", "00zentai_part2.pdf", "00zentai_part3.pdf"]

docs = [PyPDFLoader(file_path).load() for file_path in file_paths]
docs_list = [item for sublist in docs for item in sublist]

読み込んだデータをチャンクに分割します。

データベースの検索精度の向上や効率的な処理のためにチャンク分割が必要になります。

from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter.from_tiktoken_encoder(
    separator = "\n",
    chunk_size= 1000,
    chunk_overlap=100,
)
doc_splits = text_splitter.split_documents(docs_list)
doc_splits[200:203]

確認のため、分割したチャンクを３つ表示しています。

[Document(metadata={'source': '00zentai_part1.pdf', 'page': 78}, page_content='ンをもとに、将来の国家プロジェクト化や社会実装に向けた検討を進めていくこととしている。\n 3 自動運転技術\n自動運転技術の活用は、人口減少、高齢化等が進む地域の足を担う公共交通や物流の維持に寄与\nすることが期待されており、社会利用拡大に向けた取組が求められている。政府は、 「デジタル田\n園都市国家構想総合戦略（2023改訂版） 」において、自動運転による地域交通を推進する観点か\nら、関係府省庁が連携し、地域限定型の無人自動運転移動サービスを2025年度目途に50か所程\n度、2027年度までに100か所以上で実現する目標を掲げている。また、 「デジタルライフライン\n全国総合整備計画」 （経済産業省）においては、アーリーハーベストプロジェクトの1つに自動運\n転サービス支援道の設定が挙げられており、2024年度に新東名高速道路の一部区間等において\n100km以上の自動運転車優先レーンを設定し、自動運転トラックの運行の実現を目指すほか、\n2025年度までに全国50箇所、2027年度までに全国100箇所で自動運転車による移動サービス提\n供が実施できるようにすることを目指すとされている。この計画の実現に向け、警察庁、総務省、\n国土交通省等関係省庁が連携して取組が行われているところである。\n 2 \u07b2\nデジタルテクノロジーを国民一人ひとりが安心して活用していくためには、サイバーセキュリ\nティの確保も重要となる。近年、国際情勢の複雑化により、我が国を含む各国において政府機関等'),
 Document(metadata={'source': '00zentai_part1.pdf', 'page': 78}, page_content='ティの確保も重要となる。近年、国際情勢の複雑化により、我が国を含む各国において政府機関等\nを狙ったサイバー攻撃が多く発生している状況にあることに加え、生成AI等のテクノロジーの登\n場により、利便性が増す一方で、それらの悪用によるリスクの拡大も指摘されている。\n従来、サイバーセキュリティは主にシステムの可用性や機密性を確保する、つまり、システムが\n停止しないようにすることや、データの窃取や漏洩を防ぐことに焦点が当てられ、ビジネスの連続\n性や利便性を確保してきた。これとともに、近年では情報の改ざん、偽・誤情報の拡散など、情報\n＊4\t NEDO,「 「ロボット分野における研究開発と社会実装の大局的なアクションプラン」を公表\n\t ―社会実装と次世代技術開発の両輪で、社会課題の解決を推進―」 ，\n\t <https://www.nedo.go.jp/news/press/AA5_101639.html>\n65\n令和6年版\u3000情報通信白書\u3000第Ⅰ部ୈ\n4\nষデジタルテクノロジーの課題と現状の対応策第3節 その他デジタルテクノロジーに関する議論の動向\n情通R6_Ⅰ-4-03_第Ⅰ部第4章3節.indd   65情通R6_Ⅰ-4-03_第Ⅰ部第4章3節.indd   65 2024/06/24   16:54:262024/06/24   16:54:26'),
 Document(metadata={'source': '00zentai_part1.pdf', 'page': 79}, page_content='の中身の完全性、信頼性に関わる様々なリスクについても顕在化している。偽情報やディープフェ\nイクの拡散、情報の改ざんや流出は、社会の信頼を揺るがし、社会の安定性や国家の安全保障にも\n影響を及ぼすだけでなく、政治的なプロセスや意思決定において深刻な影響を及ぼし、民主主義の\n健全性にとっても大きな脅威となる可能性がある。\n国家安全保障戦略（2024年12月）において「民間の重要インフラ等への国境を越えたサイバー\n攻撃、偽情報の拡散等を通じた情報戦等が恒常的に生起し、有事と平時の境目はますます曖昧に\nなってきている」  と指摘するように、サイバー空間を巡る脅威はますます深刻化しており、いわば\n「常時有事」の状況となっているとも言える。\nこうした状況を踏まえ、さらなる情報通信ネットワークの安全性・信頼性の確保、サイバー攻撃\nへの自律的な対処能力の向上、偽・誤情報への対応、国際連携の推進、普及啓発の推進に向けた取\n組が進められているところである＊5。\n＊5\t 国家安全保障戦略（2024年12月） ，<https://www.cas.go.jp/jp/siryou/221216anzenhoshou/nss-j.pdf>\n66\n令和6年版\u3000情報通信白書\u3000第Ⅰ部ୈ\n4\nষデジタルテクノロジーの課題と現状の対応策その他デジタルテクノロジーに関する議論の動向 第3節\n情通R6_Ⅰ-4-03_第Ⅰ部第4章3節.indd   66情通R6_Ⅰ-4-03_第Ⅰ部第4章3節.indd   66 2024/06/24   16:54:262024/06/24   16:54:26')]

テキストをベクトル表現に変換する埋め込みモデルを読み込みます。

日本語性能が高く、無料で使える埋め込みモデル「intfloat/multilingual-e5-large」を指定しています。

from langchain_huggingface import HuggingFaceEmbeddings

embedding = HuggingFaceEmbeddings(model_name="intfloat/multilingual-e5-large")

リトリーバーは、クエリをもとにベクトルデータベースから関連情報を検索・取得する機能です。

リトリーバーの実装には、GPUを活用した高速ベクトル検索が可能な「FAISS」ライブラリを使用しています。

from langchain.vectorstores import FAISS

vectorstore = FAISS.from_documents(doc_splits, embedding)
retriever = vectorstore.as_retriever(search_type="similarity", search_kwargs={"k": 5})
question = "生成AIの活用例は？"
retriever.invoke(question)

「生成AIの活用例は？」というクエリに対して、リトリーバーが返した結果

[Document(metadata={'source': '00zentai_part1.pdf', 'page': 88}, page_content='σδλϧςΫϊϩδʔͷਁಁ\nୈ2અ ঢ়ɾ৽ͨͳைྲྀ\n前節でみたとおり、生成AIをはじめとするデジタルテクノロジーは、現時点では国内の利用が\n進んでいないものの、潜在的な利用意向が存在し、将来サービス・コンテンツとともに活用が進む\n可能性を秘めている。本節では、企業等における生成AI活用促進に資する先進事例と、今後社会\n課題解決等が期待されるデジタルテクノロジーの活用事例等を概観する。\n 1 Λ୲͏ੜ\u0a52 AI\n本項では、企業や公共団体で導入・活用が始まっている生成AIについて、導入・活用の実態と\nリスクに対する考え方、健全な活用促進に向けた取組の工夫等についてとりまとめた。\n 1 企業・公共団体等における生成AI導入動向\n生成AIの導入を積極的に推進する企業等においては、AIのリスクや社会的影響を評価・検証し\nながら、活用を促進するための体制構築やルール整備等の取組を進めている。\nア\u3000NTTデータ\nNTTデータは、2019年5月に「NTTデータグループAI指針」を策定、同社のAIガバナンス\nの在り方を検討するため2021年4月に社外の有識者からなる「AIアドバイザリーボード」を設置\nするなど、従来から公平かつ健全なAI活用による価値創造と持続的な社会の発展に向けた活動を\n実施してきたが、さらに、ビジネスに影響するAIの不適切な利用による事業リスクに適切に対処\nし、お客さまに安全なAIシステムの提供を実現するための組織として、AIガバナンス室を2023'),
 Document(metadata={'source': '00zentai_part2.pdf', 'page': 69}, page_content='億ドルと大幅な拡大が見込まれている。背景には、GoogleのBard、OpenAIのChatGPT、\nMidjourney, Inc.のMidjourneyなど、近年の生成AIツールの爆発的な普及がある。生成AIは文\n章だけではなく、画像、音声、動画など様々な種類のコンテンツ生成が可能で、その応用範囲は広\nい。例えば、マーケティング、セールス、カスタマーサポート、データ分析、検索、教育、小説や\n法律等、多くの分野で活用されている。さらに、コンピュータプログラムやデザインの生成も可能\nであり、人手不足対策や生産性向上の目的でも利用されている（図表Ⅱ-1-9-3）。\n＊1\t AI機能を利用するためのハードウェア、ソフトウェア・プラットフォーム及びAIシステム構築に関わるITサービス\n＊2\t https://www.statista.com/statistics/1365145/artificial-intelligence-market-size/\n＊3\t https://www.idc.com/getdoc.jsp?containerId=prJPJ52070224\n163\n令和6年版\u3000情報通信白書\u3000第Ⅱ部ୈ\n1\nষIII\nIIIII第9節 AI の動向\n情通R6_Ⅱ-1-09_第Ⅱ部第1章9節.indd   163情通R6_Ⅱ-1-09_第Ⅱ部第1章9節.indd   163 2024/06/21   9:45:222024/06/21   9:45:22'),
 Document(metadata={'source': '00zentai_part1.pdf', 'page': 89}, page_content='さらに、これらの知見を活かし、福祉の相談窓口で相談対応を行う職員向けの「AI相談パート\nナー」なども導入している。\n 2 各領域・業界における活用動向\nア\u3000コンテンツ制作等における活用（サイバーエージェント）\nメディアやゲーム、音楽などのコンテンツ制作分野においては、コンテンツそのものの制作や制\n作における補助として生成AIを利用することで、労働力不足の中で、クリエイターがより効率的\nにコンテンツを作成することが可能となる。\nサイバーエージェントでは、2023年5月に、AIを活用した広告クリエイティブ制作を実現する\n自社開発の「極予測AI」に、ChatGPTを活用したキャッチコピー文案自動生成機能を実装した。\nこれにより、広告画像の内容を考慮しながら、従来よりも詳細なターゲットに合わせて広告コピー\nを作り分けることができるようになった＊4。また、 2023年12月にはAIを活用した商品画像自動生\n成機能を開発し、あらゆるシチュエーションと商品画像の組合せを大量に自動生成することが可能\nになった。さらに生成した商品画像と効果予測AIを活用し、予測を行いながらより効果の高い商\n品画像の提供を実現するとしている＊5（図表Ⅰ-5-2-1）。\n図表Ⅰ-5-2-1 極予測AI\u3000広告コピー自動生成機能\n（出典）サイバーエージェント「極予測AI、大規模言語モデルを活用した広告コピー自動生成機能を実装」＊6\n＊6\nイ\u3000顧客接点における活用（アフラック生命保険）\n顧客サービス分野においては、利便性向上のための利用者向けサポートと、利用者に対峙するス'),
以下省略

与えられたコンテキストと質問に基づいて回答を生成するためのプロンプトテンプレートを定義します。

from langchain_core.prompts import PromptTemplate

prompt = PromptTemplate(
    template="""<|begin_of_text|><|start_header_id|>system<|end_header_id|>
    あなたは質問回答のアシスタントです。
    取得したのコンテキストを使用して質問に答えてください。
    コンテキストに書かれていない場合には、分からないと答えてください。
    \n\n
    コンテキスト：{context}
    質問: {input}
    <|eot_id|><|start_header_id|>assistant<|end_header_id|>""",
    input_variables=["context","input"],
)

LLMとプロンプトテンプレートを使用して、質問に対する回答をするためのチェーンを構築します。

from langchain.chains.combine_documents import create_stuff_documents_chain

question_answer_chain = create_stuff_documents_chain(llm, prompt)

リトリーバーと質問回答チェーンを組み合わせて、情報を検索して回答を生成するためのRAGを構築します。

from langchain.chains import create_retrieval_chain

rag_chain = create_retrieval_chain(retriever, question_answer_chain)