シラバス レッスン 250 中 164 · RAG と検索を評価する
RAG と検索を評価する

総仕上げ:検索の評価レポート

4 つの指標がそろいました。今度はそれを、エンジニアが実際に出荷するものにつなぎます:ラベル付きのクエリの組を検索器に通して成績表を返す検索の評価レポートです。これは履歴書の「RAG パイプラインを作って評価した」という一行の裏にある成果物で、「良くなった気がする」の代わりに「新しい検索器で MRR が 0.62 から 1.0 に上がった」と言えるようにしてくれます。

道具立てには動く部品が 3 つあります。評価用データはケースのリストで、それぞれ {"query": "refund policy", "relevant": {"d_refund"}} のような辞書です。検索器は、文書 ID の順位付きリストを返す任意の呼び出し可能なもの retriever(query, k) です(渡すのはあなたなので、同じレポートで BM25 の基準、密な検索器、ハイブリッドを採点できます)。そしてレポートは、すべてのクエリを 4 つの指標すべてで採点してから集計します。

def evaluate_retrieval(eval_set, retriever, k):
    rows = []
    failures = []
    for case in eval_set:
        retrieved = retriever(case["query"], k)
        # score this query: P@k, R@k, RR, NDCG@k
        # if the reciprocal rank is 0.0, the retriever missed -> record a failure
        ...
    # roll rows into a pandas DataFrame, then return the means + the frame + failures
    ...

検索した ID に対する NDCG では、簡単なやり方で順位付けを段階的な関連度に変えます:文書が関連する組に入っていればスコア 1、そうでなければ 0 です。作った関数を再利用しましょう:precision_at_k、recall_at_k、reciprocal_rank、dcg、そして ndcg_at_k です。

作るもの。次を持つ辞書を返す evaluate_retrieval(eval_set, retriever, k):

  • mean_precision_at_k、mean_recall_at_k、mrr、mean_ndcg_at_k -> クエリ全体での各指標の平均で、それぞれ小数点以下 4 桁に round したもの。
  • per_query -> クエリごとに 1 行の pandas.DataFrame で、そのクエリの指標を持つ(どのクエリがこけたかを目で確かめられるように)。
  • failures -> 逆順位が 0.0 だった(検索器が関連するものを何も出さなかった)クエリのリスト。これがあなたのデバッグの作業リストです。

採点プログラムは、集計した数を手で計算した値と照らし合わせ、失敗のリストが取りこぼしたクエリの名前を挙げていることを確かめ、より良い検索器のほうが厳密に高いスコアを取ることを証明します -> どんな定数でもごまかせない関係の確認です。完全なシステムでは、ここで勝った検索器が返したチャンクからモデルが答えますが、その生成の段階はパイプラインのもう半分で、ここでは検索を単独で採点しています。実行を押して成績表を出力しましょう。

あなたの番

evaluate_retrieval(eval_set, retriever, k) を書いてください。eval_set は {"query", "relevant"} の辞書のリストで、retriever(query, k) は文書 ID の順位付きリストを返します。各クエリについて、precision_at_k、recall_at_k、reciprocal_rank、ndcg_at_k を採点します(検索した文書は関連する組に入っていれば関連度 1、そうでなければ 0 として扱い、理想は関連する組全体から、関連する文書ごとに 1 つの 1 として作ります)。mean_precision_at_k、mean_recall_at_k、mrr、mean_ndcg_at_k(それぞれ小数点以下 4 桁に丸める)、per_query の pandas DataFrame(クエリごとに 1 行)、そして逆順位が 0.0 だったすべてのクエリの failures のリストを持つ辞書を返します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。