シラバス レッスン 250 中 162 · RAG と検索を評価する
RAG と検索を評価する

平均逆順位(MRR)

適合率と再現率は上位 k 件を袋として扱います:1 位にある関連する文書も、5 位にあるものも同じに数えるのです。でも順位は大切です。ユーザーは上から読みますし、RAG のプロンプトはたいてい最初のチャンクにいちばん頼ります。平均逆順位(MRR)は、関連する結果を上位に出すことに報います。

1 つのクエリについての逆順位は、順位を 1 から数えて 1 / (rank of the first relevant doc)(最初の関連する文書の順位分の 1) です。最初の関連する文書が 1 位なら 1.0、2 位なら 0.5、3 位なら 1/3 です。関連する文書がまったく現れなければ、スコアは 0.0 です。大切なのは最初の当たりだけで、それはまさに「ユーザー(あるいはモデル)が見るところに答えが出たか?」の正しいモデルです。

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

MRR は、クエリの組全体にわたるその逆順位の平均にすぎません。1.0 と 0.5 を取った 2 つのクエリなら、MRR は 0.75 です。各クエリにたいてい 1 つの正解があり、それを最初に出したい質問応答の検索では、これが標準の代表的な数です。

作るもの。

  • reciprocal_rank(retrieved, relevant) -> 順位付きリストをたどり、relevant の中の文書に当たった瞬間に 1.0 / rank を返します(順位は 1 から)。一度も当たらなければ 0.0 を返します。
  • mrr(queries) -> queries は (retrieved, relevant) の組のリストです。各組の逆順位を平均します。空のリストならクラッシュではなく 0.0 を返します。

enumerate(retrieved, start=1) を使えば、インデックスがそのまま順位になります。実行を押して 2 つのクエリを採点し、平均を見てみましょう。

あなたの番

順位を 1 から数えて 1.0 / (rank of the first relevant doc) を返し、関連する文書が検索されなければ 0.0 を返す reciprocal_rank(retrieved, relevant) を書いてください。それから queries が (retrieved, relevant) の組のリストである mrr(queries) を書き、その逆順位の平均を返します(空のリストなら 0.0)。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。