Precision@k と Recall@k
プロンプトを 1 つでも調整する前に、もっと難しい問いに答えましょう:そもそも検索器は正しい文書を見つけているのか?RAG のシステムには検索と生成の 2 つの半分があり、それぞれ違う形で失敗します。間違ったチャンクが返ってくれば、プロンプトをどれだけ磨いても救われません。だから検索は単独で、クエリごとの関連する文書のラベル付きの組と照らして、検索エンジニアなら誰もがそらで知っている 2 つの数で測ります。
Precision@k(適合率@k)はこう問います:返した上位 k 件の文書のうち、実際に関連していたのはどれくらいの割合か?「ユーザーにどれだけのゴミを見せたか」の指標です。
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k(再現率@k)は逆を問います:関連していたすべての文書のうち、上位 k 件に出せたのはどれくらいの割合か?「どれだけ見逃したか」の指標です。
recall@k = (relevant docs in the top k) / (total number of relevant docs)具体的な例で計算してみましょう。["a", "b", "c"] を検索し、関連する組は {"a", "c"} です。k=3 では、返した 3 件のうち 2 件が関連しているので、適合率は 2/3 です。関連する文書は 2 件とも見つかったので、再現率は 1.0 です。両者は引っ張り合います:k を広げると再現率は上がり、適合率はたいてい下がります。
作るもの。純粋関数を 2 つ:
precision_at_k(retrieved, relevant, k)-> 検索した上位k件の ID のうち、relevantに入っているものの割合。上位k件に実際にある文書の数で割ります(だから、リストが短くてもkが大きくても、間違った数で割ることはありません)。recall_at_k(retrieved, relevant, k)-> 上位k件でとらえたrelevantの割合で、len(relevant)で割ります。
テストが突く端に注意しましょう:検索したリストより大きい k、そして空の関連する組です(0.0 を返し、決して 0 で割らないこと)。速くメンバーシップを確かめられるように、relevant は集合として扱います。本物の道具立てでは、これらにベクトルストアの出力を渡しますが、ここではラベル付きのリストで直接採点します。
範囲について一言:このモジュールでは Precision@k、Recall@k、MRR、NDCG を扱います。検索チームは MAP(平均適合率の平均)もよく報告します。これは、関連する当たりごとに測った適合率を、クエリの組全体で平均したものです。ここでの 4 つの指標は、いちばんよくある出発点です。
実行を押して、順位付けを採点しましょう。
precision_at_k(retrieved, relevant, k)(検索した上位 k 件の ID のうち relevant の集合に入っているものの割合で、上位 k 件に実際にある文書の数で割る)と recall_at_k(retrieved, relevant, k)(上位 k 件でとらえた relevant の集合の割合で、len(relevant) で割る)を書いてください。どちらも空の端(空の検索結果、空の関連する組)では、クラッシュする代わりに 0.0 を返さなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。