Weave による RAGシステム のLLM変更時の精度検証手順

# パッケージのインストール
!pip install weave

import weave

# weaveの初期化
weave.init("hello-weave")

import os
from google.colab import userdata

# 環境変数の準備 (左端の鍵アイコンでOPENAI_API_KEYを設定)
os.environ["OPENAI_API_KEY"] = userdata.get("OPENAI_API_KEY")

from openai import OpenAI

# LLMの準備
client = OpenAI()
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": "入力の日本語を英語に翻訳してください。"},
        {"role": "user", "content": "吾輩は猫である"},
    ],
    temperature=0,
)

# 推論の実行
generation = response.choices[0].message.content
print(generation)

# 関数の準備
@weave.op()
def translation(user_input):
    client = OpenAI()
    response = client.chat.completions.create(
        model="gpt-4o-mini", # 変更
        messages=[
            {"role": "system", "content": "入力の日本語を英語に翻訳してください。"},
            {"role": "user", "content": user_input},
        ],
        temperature=0,
    )
    return response.choices[0].message.content

# 推論の実行
result = translation("吾輩は猫である。")
print(result)

from openai import OpenAI

# モデルの準備
class TranslationModel(weave.Model):
    system_instruction: str

    @weave.op()
    def translation(self, user_input):
        client = OpenAI()
        response = client.chat.completions.create(
            model="gpt-4o-mini",
            messages=[
                {"role": "system", "content": self.system_instruction},
                {"role": "user", "content": user_input},
            ],
            temperature=0,
        )
        return response.choices[0].message.content

# 推論の実行
model = TranslationModel(
    system_instruction="入力の日本語を英語に翻訳してください。",
)
result = model.translation("国境の長いトンネルを抜けると雪国であった。")
print(result)

# ドキュメントの準備
documents = [
    "OpenAIは、イーロン・マスク氏らが設立した研究機関で、汎用人工知能の開発を目指しています。GPT-4やDALLEなどの言語モデルや画像生成モデルを開発しました。",
    "DeepMindは、Google傘下の人工知能研究企業です。強化学習や深層学習の研究で知られ、AlphaGoやAlphaFoldなどの画期的なプロジェクトを手がけています。",
    "Anthropicは、「Constitutional AI」という概念を提唱し、安全で倫理的な人工知能の開発を目指すスタートアップです。言語モデルのClaudeを開発しました。",
    "Hugging Faceは、自然言語処理に特化したオープンソースのライブラリやモデルを提供するスタートアップです。Transformersライブラリが有名で、多くの研究者や開発者に利用されています。",
    "Stability AIは、Stable Diffusionなど高品質な画像生成モデルを開発し、オープンソースで公開することで知られるAIスタートアップです。",
    "Cohereは、自然言語処理技術を利用してテキスト生成や理解を可能にするAIモデルを提供する企業です。Command R plusやRerankなどが有名です。"
]

from openai import OpenAI

# ドキュメントからの埋め込みの生成の関数
def docs_to_embeddings(docs: list) -> list:
    openai = OpenAI()
    document_embeddings = []
    for doc in docs:
        response = (
            openai.embeddings.create(
                input=doc,
                model="text-embedding-3-small"
            )
            .data[0]
            .embedding
        )
        document_embeddings.append(response)
    return document_embeddings

# ドキュメントからの埋め込みの生成
docs_embeddings = docs_to_embeddings(documents)

import numpy as np

# 最も関連性の高いドキュメントの取得
@weave.op()
def get_most_relevant_document(query):
    # クエリからの埋め込みの生成
    openai = OpenAI()
    query_embedding = (
        openai.embeddings.create(
            input=query,
            model="text-embedding-3-small"
        )
        .data[0]
        .embedding
    )

    # 類似評価の実行
    similarities = [
        np.dot(query_embedding, doc_emb)
        / (np.linalg.norm(query_embedding) * np.linalg.norm(doc_emb))
        for doc_emb in docs_embeddings
    ]

    # 類似評価最大のドキュメントを返す
    most_relevant_doc_index = np.argmax(similarities)
    return documents[most_relevant_doc_index]

# モデルの定義
class RAGModel(weave.Model):
    model_name: str = "gpt-4o"

    # 質問応答
    @weave.op()
    def predict(self, question: str) -> dict:
        # 最も関連性の高いドキュメントの取得
        context = get_most_relevant_document(question)

        # 回答の生成
        client = OpenAI()
        query = f"""次のコンテキストのみを使って質問に答えてください。
答えが見つからない場合は「わかりません」と答えてください。"

コンテキスト:"
```
{context}
```

質問:
{question}"""
        response = client.chat.completions.create(
            model=self.model_name,
            messages=[
                {"role": "user", "content": query},
            ],
            temperature=0.0,
            response_format={"type": "text"},
        )
        answer = response.choices[0].message.content
        return {"answer": answer, "context": context}

# 推論の実行
model = RAGModel(
    model_name="gpt-4o"
)
model.predict("GPT-4を開発したのは？")

# 評価データセットの準備
questions = [
    {"question": "GPT-4を開発したのは？"},
    {"question": "Google傘下の人工知能研究企業は？"},
    {"question": "「Constitutional AI」という理念を提唱しているのは？"},
    {"question": "Hugging Faceが開発したライブラリは？"},
    {"question": "Stable Diffusionで有名なスタートアップは？"},
    {"question": "Cohereはどんな会社？"}
]

import json

# 評価関数の準備
@weave.op()
async def context_precision_score(question, model_output):
    context_precision_prompt = """与えられた質問、回答、コンテキストにより、
コンテキストが与えられた回答に到達するのに役立ったかどうかを確認します。
JSON出力で、有用であれば {{verification: 1}}、
有用でない場合は {{verification: 0}} と出力します。
有効なJSON形式でのみ出力してください。

コンテキスト:
```
{context}
```

回答:
{answer}
"""
    client = OpenAI()
    prompt = context_precision_prompt.format(
        question=question,
        context=model_output["context"],
        answer=model_output["answer"],
    )
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        response_format={ "type": "json_object" }
    )
    response_message = response.choices[0].message
    response = json.loads(response_message.content)
    return {
        "verdict": int(response["verification"]) == 1,
    }

# Google Colabでのasyncio利用の有効化
import nest_asyncio
nest_asyncio.apply()

# weave.Evaluation の準備
evaluation = weave.Evaluation(
    dataset=questions,  # 評価データセット
    scorers=[context_precision_score]  # 評価関数
)

# LLM変更前のRAGシステムの評価
model = RAGModel(
    model_name="gpt-4o"
)
await evaluation.evaluate(model)

# LLM変更後のRAGシステムの評価
model = RAGModel(
    model_name="gpt-4o-mini"
)
await evaluation.evaluate(model)