シラバス レッスン 250 中 163 · RAG と検索を評価する
RAG と検索を評価する

NDCG@k:段階的な関連度

適合率、再現率、MRR はどれも、関連度をはい/いいえの旗として扱います。でも本物の関連度には濃淡があります:文書は完璧なことも、いくらか役に立つことも、的外れなこともあります。NDCG(正規化割引累積利得)は段階的な関連度のための指標で、大きな検索やレコメンドのチームが実際に報告するものです。

3 つの考えが積み重なっています。1 つ目に利得:各結果は関連度のスコア(たとえば 3 = 完璧、1 = 微妙、0 = 無関係)を持ちます。2 つ目に、位置による割引:10 位に埋もれた素晴らしい結果は、1 位にあるものほど役に立たないからです。割引累積利得は、各結果の利得を log2(position + 1) で割ったものを合計します:

DCG = sum( rel_i / log2(i + 1) )   for i = 1, 2, 3, ...

1 位では割る数は log2(2) = 1(割引なし)、2 位では log2(3)、というように続き、後ろの位置ほど価値が着実に下がります。3 つ目に正規化:DCG はそれだけでは上限がなく、クエリ同士で比べにくいので、理想の DCG(IDCG)、つまり同じ関連度のスコアを良い順に並べ替えたときに得られる DCG で割ります。

NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)

これで、どのクエリも 0.0 から 1.0 の尺度に乗り、1.0 は「すでにありうる最良の順番になっている」を意味します。逆順の順位付けは厳密に 1.0 を下回り、すべて 0(何も関連しない)の順位付けは 0.0 と定義されます。

作るもの。

  • dcg(rels) -> 関連度のスコアのリストの割引累積利得で、i を 1 から始めて math.log2(i + 1) を使います。
  • ndcg_at_k(ranked_rels, k) -> 上位 k 件の dcg を、同じスコアを降順に並べ替えたもの(理想)の上位 k 件の dcg で割ったもの。理想の DCG が 0 なら、0 で割る代わりに 0.0 を返します。

1 つ手で確かめてみましょう:dcg([3, 0, 2]) は 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0 です。実行を押して、完璧な順番と逆順を比べましょう。

あなたの番

位置 i を 1 から数えて割引累積利得 sum(rel_i / log2(i + 1)) を返す dcg(rels) を書いてください。それから、上位 k 件の dcg を理想の DCG で割ったものを返す ndcg_at_k(ranked_rels, k, ideal_rels=None) を書きます。理想の DCG とは、判定されたすべての文書の関連度のスコアを降順に並べた上位 k 件のものです。それは与えられれば ideal_rels から取り、None なら ranked_rels そのものを使います(それで良いのは、順位付けがすでに関連するすべての文書を含んでいるときだけです)。理想を検索したリストだけから取るのは典型的なバグです:関連する文書 3 件のうち 1 件を 1 位で見つけたシステムが、完璧な 1.0 を取ってしまいます。すべて 0 の順位付けで 0 で割らないように、理想の DCG が 0 なら 0.0 を返してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。