シラバス レッスン 250 中 161 · RAG と検索を評価する
RAG と検索を評価する

Precision@k と Recall@k

プロンプトを 1 つでも調整する前に、もっと難しい問いに答えましょう:そもそも検索器は正しい文書を見つけているのか?RAG のシステムには検索と生成の 2 つの半分があり、それぞれ違う形で失敗します。間違ったチャンクが返ってくれば、プロンプトをどれだけ磨いても救われません。だから検索は単独で、クエリごとの関連する文書のラベル付きの組と照らして、検索エンジニアなら誰もがそらで知っている 2 つの数で測ります。

Precision@k(適合率@k)はこう問います:返した上位 k 件の文書のうち、実際に関連していたのはどれくらいの割合か?「ユーザーにどれだけのゴミを見せたか」の指標です。

precision@k = (relevant docs in the top k) / (number of docs in the top k)

Recall@k(再現率@k)は逆を問います:関連していたすべての文書のうち、上位 k 件に出せたのはどれくらいの割合か?「どれだけ見逃したか」の指標です。

recall@k = (relevant docs in the top k) / (total number of relevant docs)

具体的な例で計算してみましょう。["a", "b", "c"] を検索し、関連する組は {"a", "c"} です。k=3 では、返した 3 件のうち 2 件が関連しているので、適合率は 2/3 です。関連する文書は 2 件とも見つかったので、再現率は 1.0 です。両者は引っ張り合います:k を広げると再現率は上がり、適合率はたいてい下がります。

作るもの。純粋関数を 2 つ:

  • precision_at_k(retrieved, relevant, k) -> 検索した上位 k 件の ID のうち、relevant に入っているものの割合。上位 k 件に実際にある文書の数で割ります(だから、リストが短くても k が大きくても、間違った数で割ることはありません)。
  • recall_at_k(retrieved, relevant, k) -> 上位 k 件でとらえた relevant の割合で、len(relevant) で割ります。

テストが突く端に注意しましょう:検索したリストより大きい k、そして空の関連する組です(0.0 を返し、決して 0 で割らないこと)。速くメンバーシップを確かめられるように、relevant は集合として扱います。本物の道具立てでは、これらにベクトルストアの出力を渡しますが、ここではラベル付きのリストで直接採点します。

範囲について一言:このモジュールでは Precision@k、Recall@k、MRR、NDCG を扱います。検索チームは MAP(平均適合率の平均)もよく報告します。これは、関連する当たりごとに測った適合率を、クエリの組全体で平均したものです。ここでの 4 つの指標は、いちばんよくある出発点です。

実行を押して、順位付けを採点しましょう。

あなたの番

precision_at_k(retrieved, relevant, k)(検索した上位 k 件の ID のうち relevant の集合に入っているものの割合で、上位 k 件に実際にある文書の数で割る)と recall_at_k(retrieved, relevant, k)(上位 k 件でとらえた relevant の集合の割合で、len(relevant) で割る)を書いてください。どちらも空の端(空の検索結果、空の関連する組)では、クラッシュする代わりに 0.0 を返さなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。