9. 最初のRAGシステムの構築

from langchain_openai import ChatOpenAI
 
llm = ChatOpenAI(model="gpt-5-mini")
 
# LLMが見たことのないプライベートドキュメントについて質問する
response = llm.invoke("Acme Corpの返金ポリシーは何ですか?")
print(response.content)

Acme Corpの返金ポリシーに関する具体的な情報は持っていません。最も正確で最新の情報については、
公式ウェブサイトを確認するか、カスタマーサポートチームに直接お問い合わせいただくことをお勧めします。

from langchain_openai import ChatOpenAI
 
llm = ChatOpenAI(model="gpt-5-mini")
 
# 実際にはこれよりもはるかに長いですが、以下がドキュメント全体であると仮定しましょう
document_text = """
返金ポリシー(2026年1月発効):
- 購入から30日以内であれば、元のレシートがあれば全額返金。
- 30日後は、ストアクレジットのみ。
- デジタル製品はダウンロード後は返金不可。
- 欠陥品はいつでも全額返金可能。
"""
 
response = llm.invoke(
    f"""次のドキュメントに基づいて回答してください:
{document_text}
 
質問: デジタル製品の返金ポリシーは何ですか?"""
)
print(response.content)

デジタル製品はダウンロード後は返金不可です。
...

from langchain_openai import OpenAIEmbeddings
 
embeddings_model = OpenAIEmbeddings(model="text-embedding-3-small")
 
# 単一の文を埋め込む
vector = embeddings_model.embed_query("お金を返してもらうにはどうすればいいですか?")
 
print(f"ベクトルの次元数: {len(vector)}")
print(f"最初の5つの値: {vector[:5]}")

ベクトルの次元数: 1536
最初の5つの値: [0.0123, -0.0456, 0.0789, -0.0234, 0.0567]

from langchain_openai import OpenAIEmbeddings
import numpy as np
 
embeddings_model = OpenAIEmbeddings(model="text-embedding-3-small")
 
# クエリと2つの候補ドキュメントを埋め込む
query_vec = embeddings_model.embed_query("返金期間は何ですか?")
doc1_vec = embeddings_model.embed_query("購入から30日以内であれば全額返金可能。")  # 関連
doc2_vec = embeddings_model.embed_query("当社のオフィスはシアトルのダウンタウンにあります。")  # 無関係
 
def cosine_similarity(a, b):
    """2つのベクトル間のコサイン類似度を計算します。"""
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
 
sim1 = cosine_similarity(query_vec, doc1_vec)
sim2 = cosine_similarity(query_vec, doc2_vec)
 
print(f"クエリ vs '返金'ドキュメント:    {sim1:.4f}")
print(f"クエリ vs 'オフィス'ドキュメント:   {sim2:.4f}")

クエリ vs '返金'ドキュメント:    0.6415
クエリ vs 'オフィス'ドキュメント:   0.1706

mkdir -p data/docs

# 返金ポリシー
 
**発効日**: 2026年1月1日
 
## 標準返品
 
すべての物理製品は、購入から30日以内であれば全額返金で返品できます。
元のレシートまたは注文確認メールが必要です。商品は元のパッケージに入っており、
未使用の状態である必要があります。
 
30日後は、ストアクレジットのみで返品を受け付けます。ストアクレジットに有効期限はありません。
 
## デジタル製品
 
デジタル製品(ソフトウェアライセンス、電子書籍、オンラインコース)は、
ダウンロードまたはアクセスリンクがアクティブ化された後は返金不可です。
アクセスを妨げる技術的な問題が発生した場合は、7日以内にサポートに連絡して
交換または返金を受けてください。
 
## 欠陥品
 
欠陥品はいつでも全額返金または交換で返品できます。
欠陥の説明を含めてください。欠陥品の返品にかかる送料は
会社が負担します。
 
## サブスクリプションサービス
 
月額サブスクリプションはいつでもキャンセルできます。返金は
請求サイクルの残り日数に基づいて日割り計算されます。年間サブスクリプションは
最初の14日以内であれば全額返金できます。14日後は返金はありませんが、
請求期間の終了までアクセスは継続されます。

# 配送情報
 
## 国内配送
 
標準配送(5-7営業日): 50ドル以上の注文は無料、それ以外は5.99ドル。
速達配送(2-3営業日): 12.99ドル。
翌日配送(翌営業日): 24.99ドル。
 
## 国際配送
 
国際注文は追跡可能な航空便で発送されます。配達時間は
目的地によって異なり、通常10-21営業日です。国際配送料は
重量と目的地に基づいてチェックアウト時に計算されます。
 
関税と輸入税は購入者の責任であり、配送料には含まれていません。
 
## 注文追跡
 
すべての注文には、発送から24時間以内にメールで送信される追跡番号が含まれます。
メール内の追跡リンクまたは配送業者のウェブサイトから注文を追跡できます。
 
## 紛失または破損した荷物
 
荷物が紛失したり破損して到着した場合は、48時間以内にサポートに連絡してください。
追加費用なしで交換品を発送します。破損した商品については、
破損と梱包の写真を提供してください。

from pathlib import Path
from langchain_community.document_loaders import TextLoader
 
# data/docsディレクトリからすべての.mdファイルを読み込む
docs_dir = Path("data/docs")
 
for md_file in docs_dir.glob("*.md"):
    loader = TextLoader(str(md_file), encoding="utf-8")
    docs = loader.load()
 
    if docs:  # ファイルが空でないことを確認
        doc = docs[0]  # 単一ファイル = 単一Document
        print(f"ファイル: {doc.metadata['source']}")
        print(f"長さ: {len(doc.page_content)} 文字")
        print(f"プレビュー: {doc.page_content[:80]}...")
        print()

ファイル: data/docs/refund_policy.md
長さ: 1166 文字
プレビュー: # 返金ポリシー
...
 
ファイル: data/docs/shipping_info.md
長さ: 972 文字
プレビュー: # 配送情報
...

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
 
# ドキュメントを読み込む
loader = TextLoader("data/docs/refund_policy.md", encoding="utf-8")
docs = loader.load()
 
# スプリッターを設定する
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=400,
    chunk_overlap=80,
    separators=["\n## ", "\n\n", "\n", " "],
)
 
chunks = text_splitter.split_documents(docs)
 
print(f"{len(chunks)}個のチャンクに分割されました\n")
for i, chunk in enumerate(chunks):
    print(f"--- チャンク{i} (ソース: {chunk.metadata['source']}) ---")
    print(f"長さ: {len(chunk.page_content)} 文字")
    print(chunk.page_content[:120])
    print()

4個のチャンクに分割されました
 
--- チャンク0 (ソース: data/docs/refund_policy.md) ---
長さ: 374 文字
# 返金ポリシー
...
 
--- チャンク1 (ソース: data/docs/refund_policy.md) ---
長さ: 267 文字
## デジタル製品
...
 
--- チャンク2 (ソース: data/docs/refund_policy.md) ---
長さ: 204 文字
## 欠陥品
...
 
--- チャンク3 (ソース: data/docs/refund_policy.md) ---
長さ: 315 文字
## サブスクリプションサービス
...

pip install chromadb langchain-chroma

from langchain_openai import OpenAIEmbeddings
 
embedding_model = OpenAIEmbeddings(model="text-embedding-3-small")
 
# 動作することを確認する
test_vector = embedding_model.embed_query("test")
print(f"埋め込みの次元数: {len(test_vector)}")

埋め込みの次元数: 1536

# ingest.py - 完全な取り込みパイプライン
from langchain_community.document_loaders import DirectoryLoader, TextLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings
from langchain_chroma import Chroma
 
# ステップ1: ドキュメントを読み込む
# DirectoryLoader: ディレクトリをスキャンし、一致するファイルを読み込みます。
# 実際の読み込みは、loader_clsで指定されたローダーに委任されます。
loader = DirectoryLoader(
    "data/docs/", glob="**/*.md",
    loader_cls=TextLoader, loader_kwargs={"encoding": "utf-8"},
)
documents = loader.load()
print(f"{len(documents)}個のドキュメントを読み込みました")
 
# ステップ2: チャンクに分割する
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=400,
    chunk_overlap=80,
    separators=["\n## ", "\n\n", "\n", " ", ""],
)
chunks = text_splitter.split_documents(documents)
print(f"{len(chunks)}個のチャンクを作成しました")
 
# ステップ3: 埋め込みモデルを作成する
embedding_model = OpenAIEmbeddings(model="text-embedding-3-small")
 
# ステップ4: ベクトルストアを作成してチャンクを取り込む
vector_store = Chroma.from_documents(
    documents=chunks,
    embedding=embedding_model,
    persist_directory="data/chroma_db",
    collection_name="company_docs",
)
 
print(f"{len(chunks)}個のチャンクをdata/chroma_db/のChromaDBに保存しました")

2個のドキュメントを読み込みました
8個のチャンクを作成しました
8個のチャンクをdata/chroma_db/のChromaDBに保存しました

from langchain_openai import OpenAIEmbeddings
from langchain_chroma import Chroma
 
# 永続化されたベクトルストアを読み込む—再埋め込みは不要
embedding_model = OpenAIEmbeddings(model="text-embedding-3-small")
 
vector_store = Chroma(
    persist_directory="data/chroma_db",
    collection_name="company_docs",
    embedding_function=embedding_model,
)
 
print(f"{len(vector_store.get()['ids'])}個のチャンクを持つベクトルストアを読み込みました")

8個のチャンクを持つベクトルストアを読み込みました

from langchain_openai import OpenAIEmbeddings
from langchain_chroma import Chroma
 
embedding_model = OpenAIEmbeddings(model="text-embedding-3-small")
vector_store = Chroma(
    persist_directory="data/chroma_db",
    collection_name="company_docs",
    embedding_function=embedding_model,
)
 
# 質問に関連するチャンクを検索する
query = "デジタル製品を返品できますか?"
results = vector_store.similarity_search(query, k=2)
 
print(f"クエリ: {query}")
print(f"{len(results)}件の結果が見つかりました\n")
 
for i, doc in enumerate(results):
    print(f"--- 結果{i + 1} (ソース: {doc.metadata['source']}) ---")
    print(doc.page_content[:200])
    print()

クエリ: デジタル製品を返品できますか?
2件の結果が見つかりました
 
--- 結果1 (ソース: data/docs/refund_policy.md) ---
## デジタル製品
 
...
 
--- 結果2 (ソース: data/docs/refund_policy.md) ---
# 返金ポリシー
 
**発効日**: 2026年1月1日
 
## 標準返品
 
...

results_with_scores = vector_store.similarity_search_with_score(query, k=2)
 
for doc, score in results_with_scores:
    # ChromaDBは距離を返します(低いほど類似)
    print(f"スコア: {score:.4f} | ソース: {doc.metadata['source']}")
    print(f"  {doc.page_content[:200]}...")
    print()

スコア: 0.5942 | ソース: data/docs/refund_policy.md
  ## デジタル製品
 
...
 
スコア: 0.9577 | ソース: data/docs/refund_policy.md
  # 返金ポリシー
 
...

from langchain_core.prompts import ChatPromptTemplate
 
rag_prompt = ChatPromptTemplate.from_messages([
    ("system",
     "あなたはカスタマーサービス担当者です。"
     "提供されたコンテキストのみを使用してユーザーの質問に答えてください。"
     "コンテキストに回答するのに十分な情報が含まれていない場合は、"
     "「その質問に答えるのに十分な情報がありません。」と言ってください。\n\n"
     "コンテキスト:\n{context}"),
    ("human", "{question}"),
])

# rag_chain.py - 完全なRAGパイプライン
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_chroma import Chroma
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
 
 
def format_docs(docs):
    """検索されたドキュメントを単一のコンテキスト文字列に結合します。"""
    return "\n\n---\n\n".join(doc.page_content for doc in docs)
 
 
def build_rag_chain():
    """完全なRAGチェーンを構築して返します。"""
    # ベクトルストアを読み込む
    embedding_model = OpenAIEmbeddings(model="text-embedding-3-small")
    vector_store = Chroma(
        persist_directory="data/chroma_db",
        collection_name="company_docs",
        embedding_function=embedding_model,
    )
 
    # レトリーバーを作成する(k=3は上位3つのチャンクを返すことを意味します)
    retriever = vector_store.as_retriever(search_kwargs={"k": 3})
 
    # プロンプトを定義する
    rag_prompt = ChatPromptTemplate.from_messages([
        ("system",
         "あなたはカスタマーサービス担当者です。"
         "提供されたコンテキストのみを使用してユーザーの質問に答えてください。"
         "コンテキストに回答するのに十分な情報が含まれていない場合は、"
         "「その質問に答えるのに十分な情報がありません。」と言ってください。\n\n"
         "コンテキスト:\n{context}"),
        ("human", "{question}"),
    ])
 
    # LLMを初期化する
    llm = ChatOpenAI(model="gpt-5-mini")
 
    # LCELを使用してチェーンを構成する
    rag_chain = (
        {"context": retriever | format_docs, "question": lambda x: x}
        | rag_prompt
        | llm
        | StrOutputParser()
    )
 
    return rag_chain
 
 
if __name__ == "__main__":
    chain = build_rag_chain()
    answer = chain.invoke("デジタル製品を返品できますか?")
    print(answer)

デジタル製品は、ダウンロードまたはアクセスリンクがアクティブ化された後は返金不可です。
アクセスを妨げる技術的な問題が発生した場合は、7日以内にサポートに連絡して交換または返金を受けてください。

rag_chain = (
    {"context": retriever | format_docs, "question": lambda x: x}
    | rag_prompt
    | llm
    | StrOutputParser()
)

# test_rag.py - さまざまな質問でRAGチェーンをテストする
from rag_chain import build_rag_chain
 
chain = build_rag_chain()
 
test_questions = [
    # 回答可能—情報がドキュメントにある
    "物理製品の返金ポリシーは何ですか?",
    "速達配送の料金はいくらですか?",
    "6か月後に欠陥品を返品できますか?",
    # 回答不可能—情報がドキュメントにない
    "従業員の休暇ポリシーは何ですか?",
    "どのプログラミング言語が使用されていますか?",
]
 
for question in test_questions:
    print(f"Q: {question}")
    answer = chain.invoke(question)
    print(f"A: {answer}\n")
    print("-" * 60)

Q: 物理製品の返金ポリシーは何ですか?
A: すべての物理製品は、購入から30日以内であれば全額返金で返品できます。...
 
------------------------------------------------------------
Q: 速達配送の料金はいくらですか?
A: 速達配送(2-3営業日)の料金は12.99ドルです。
 
------------------------------------------------------------
Q: 6か月後に欠陥品を返品できますか?
A: はい。欠陥品はいつでも全額返金または交換で返品できます。...
 
------------------------------------------------------------
Q: 従業員の休暇ポリシーは何ですか?
A: その質問に答えるのに十分な情報がありません。
 
------------------------------------------------------------
Q: どのプログラミング言語が使用されていますか?
A: その質問に答えるのに十分な情報がありません。
 
------------------------------------------------------------