from langchain_openai import AzureChatOpenAI
from ragas.llms import LangchainLLMWrapper

llm = AzureChatOpenAI(
    azure_deployment="gpt-5-deploy",
    temperature=1,  # GPT-5は1のみサポート
    model_kwargs={"reasoning_effort": "high"},
)
# bypass_temperature=TrueでRagasによるtemperature上書きを防ぐ
evaluator_llm = LangchainLLMWrapper(llm, bypass_temperature=True)

pip install ragas==0.4.0 langchain-openai python-dotenv

import os
from dotenv import load_dotenv

load_dotenv()

AZURE_OPENAI_ENDPOINT = os.getenv("AZURE_OPENAI_ENDPOINT")
AZURE_OPENAI_API_KEY = os.getenv("AZURE_OPENAI_API_KEY")
GPT5_API_VERSION = os.getenv("GPT5_API_VERSION")
GPT5_DEPLOYMENT = os.getenv("GPT5_DEPLOYMENT")
EMBEDDINGS_API_VERSION = os.getenv("EMBEDDINGS_API_VERSION")
EMBEDDINGS_DEPLOYMENT = os.getenv("EMBEDDINGS_DEPLOYMENT")

AZURE_OPENAI_ENDPOINT=https://{resource-name}.openai.azure.com/
AZURE_OPENAI_API_KEY=your-api-key
GPT5_API_VERSION=2025-01-01-preview
GPT5_DEPLOYMENT=gpt-5-deploy
EMBEDDINGS_API_VERSION=2023-05-15
EMBEDDINGS_DEPLOYMENT=text-embedding-3-small-deploy

from langchain_openai import AzureChatOpenAI, AzureOpenAIEmbeddings
from ragas.llms import LangchainLLMWrapper
from ragas.embeddings import LangchainEmbeddingsWrapper


def create_llm(reasoning_effort: str) -> LangchainLLMWrapper:
    """指定したreasoning_effortでLLMを作成"""
    llm = AzureChatOpenAI(
        azure_endpoint=AZURE_OPENAI_ENDPOINT,
        api_key=AZURE_OPENAI_API_KEY,
        api_version=GPT5_API_VERSION,
        azure_deployment=GPT5_DEPLOYMENT,
        temperature=1,  # GPT-5は1のみサポート
        model_kwargs={"reasoning_effort": reasoning_effort},
    )
    # bypass_temperature=Trueでtemperatureの上書きを防ぐ
    return LangchainLLMWrapper(llm, bypass_temperature=True)


def create_embeddings() -> LangchainEmbeddingsWrapper:
    """Embeddingsモデルを作成"""
    embeddings = AzureOpenAIEmbeddings(
        azure_endpoint=AZURE_OPENAI_ENDPOINT,
        api_key=AZURE_OPENAI_API_KEY,
        api_version=EMBEDDINGS_API_VERSION,
        azure_deployment=EMBEDDINGS_DEPLOYMENT,
    )
    return LangchainEmbeddingsWrapper(embeddings)

from ragas import EvaluationDataset, SingleTurnSample

# 就業規則から抽出したコンテキスト
CONTEXTS = {
    "試用期間": [
        "（試用期間）第６条 労働者として新たに採用した者については、採用した日から3か月間を試用期間とする。",
        "前項について、会社が特に認めたときは、試用期間を短縮し、又は設けないことがある。",
        "試用期間は、勤続年数に通算する。"
    ],
    "労働時間": [
        "（労働時間及び休憩時間）第１８条 １週間の所定労働時間は、2025年1月1日を起算日として、２週間ごとに平均して、１週間当たり４０時間とする。",
        "１日の所定労働時間は、７時間30分とする。",
        "始業・終業の時刻及び休憩時間は、次のとおりとする。始業 午前9時00分、終業 午後17時30分、休憩時間 12時00分から13時00分まで"
    ],
    "家族手当": [
        "（家族手当）第３３条 家族手当は、次の家族を扶養している労働者に対し支給する。",
        "１８歳未満の子 １人につき 月額 40000円",
        "６５歳以上の父母 １人につき 月額 50000円"
    ],
    # ... 他のカテゴリも同様に定義
}

# RAGの回答をシミュレート（一部に余計な情報を含める）
SIMULATED_RESPONSES = {
    "試用期間は何か月ですか？": "試用期間は採用した日から3か月間です。試用期間は勤続年数に通算されます。",
    "18歳未満の子を扶養している場合の家族手当はいくらですか？": "18歳未満の子を扶養している場合、1人につき月額40,000円の家族手当が支給されます。なお、最近の物価上昇を受けて今後増額される可能性があります。",  # ← コンテキストにない情報を追加
    # ...
}

# 評価サンプルの作成
samples = []
selected_questions = [
    {"question": "試用期間は何か月ですか？", "ground_truth": "試用期間は採用した日から3か月間です。", "context_key": "試用期間"},
    {"question": "1日の所定労働時間は何時間ですか？", "ground_truth": "1日の所定労働時間は7時間30分です。", "context_key": "労働時間"},
    {"question": "18歳未満の子を扶養している場合の家族手当はいくらですか？", "ground_truth": "18歳未満の子を扶養している場合、1人につき月額40,000円の家族手当が支給されます。", "context_key": "家族手当"},
    # ... 合計10件
]

for q in selected_questions:
    sample = SingleTurnSample(
        user_input=q["question"],
        retrieved_contexts=CONTEXTS[q["context_key"]],
        response=SIMULATED_RESPONSES[q["question"]],
        reference=q["ground_truth"],
    )
    samples.append(sample)

eval_dataset = EvaluationDataset(samples=samples)

import time
from ragas import evaluate
from ragas.metrics import (
    Faithfulness,
    ResponseRelevancy,
    ContextPrecision,
    ContextRecall
)

def run_evaluation(reasoning_effort: str, dataset, embeddings):
    """指定したreasoning_effortで評価を実行"""

    # LLMの作成
    evaluator_llm = create_llm(reasoning_effort)

    # メトリクスの設定
    metrics = [
        Faithfulness(llm=evaluator_llm),
        ResponseRelevancy(llm=evaluator_llm, embeddings=embeddings),
        ContextPrecision(llm=evaluator_llm),
        ContextRecall(llm=evaluator_llm)
    ]

    # 評価の実行（時間計測）
    start_time = time.time()
    results = evaluate(dataset=dataset, metrics=metrics)
    elapsed_time = time.time() - start_time

    return results.to_pandas(), elapsed_time


# 共通のEmbeddingsを作成
embeddings = create_embeddings()

# minimal（高速モード）で評価
df_minimal, time_minimal = run_evaluation("minimal", eval_dataset, embeddings)

# high（推論重視モード）で評価
df_high, time_high = run_evaluation("high", eval_dataset, embeddings)