平均逆順位(MRR)
適合率と再現率は上位 k 件を袋として扱います:1 位にある関連する文書も、5 位にあるものも同じに数えるのです。でも順位は大切です。ユーザーは上から読みますし、RAG のプロンプトはたいてい最初のチャンクにいちばん頼ります。平均逆順位(MRR)は、関連する結果を上位に出すことに報います。
1 つのクエリについての逆順位は、順位を 1 から数えて 1 / (rank of the first relevant doc)(最初の関連する文書の順位分の 1) です。最初の関連する文書が 1 位なら 1.0、2 位なら 0.5、3 位なら 1/3 です。関連する文書がまったく現れなければ、スコアは 0.0 です。大切なのは最初の当たりだけで、それはまさに「ユーザー(あるいはモデル)が見るところに答えが出たか?」の正しいモデルです。
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5MRR は、クエリの組全体にわたるその逆順位の平均にすぎません。1.0 と 0.5 を取った 2 つのクエリなら、MRR は 0.75 です。各クエリにたいてい 1 つの正解があり、それを最初に出したい質問応答の検索では、これが標準の代表的な数です。
作るもの。
reciprocal_rank(retrieved, relevant)-> 順位付きリストをたどり、relevantの中の文書に当たった瞬間に1.0 / rankを返します(順位は 1 から)。一度も当たらなければ0.0を返します。mrr(queries)->queriesは(retrieved, relevant)の組のリストです。各組の逆順位を平均します。空のリストならクラッシュではなく0.0を返します。
enumerate(retrieved, start=1) を使えば、インデックスがそのまま順位になります。実行を押して 2 つのクエリを採点し、平均を見てみましょう。
順位を 1 から数えて 1.0 / (rank of the first relevant doc) を返し、関連する文書が検索されなければ 0.0 を返す reciprocal_rank(retrieved, relevant) を書いてください。それから queries が (retrieved, relevant) の組のリストである mrr(queries) を書き、その逆順位の平均を返します(空のリストなら 0.0)。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。