Программа курса Урок 163 из 250 · Оценка RAG и Retrieval
Оценка RAG и Retrieval

NDCG@k: Оценка релевантности

Точность, полнота и MRR все считают релевантность как флаг да/нет. Но реальная релевантность имеет оттенки: документ может быть идеальным, отчасти полезным или не по теме. NDCG (Normalized Discounted Cumulative Gain) это метрика для оцененной релевантности, и именно ее реально отчитывают крупные команды поиска и рекомендаций.

В ней есть три идеи. Сначала, gain: каждый результат имеет оценку релевантности (например, 3 = идеально, 1 = минимально, 0 = нерелевантно). Второе, discount по позиции, потому что отличный результат на 10 месте помогает меньше, чем на 1 месте. Discounted Cumulative Gain суммирует gain каждого результата, деленный на log2(position + 1):

DCG = sum( rel_i / log2(i + 1) )   for i = 1, 2, 3, ...

На позиции 1 делитель равен log2(2) = 1 (без скидки); на позиции 2 он равен log2(3); и так далее, поэтому последующие позиции стоят все меньше. В-третьих, normalization: сам по себе DCG не ограничен и его трудно сравнивать между запросами, поэтому делим на ideal DCG (IDCG), это тот DCG, который вы бы получили, если бы те же оценки релевантности были отсортированы от лучшей к худшей.

NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)

Это ставит каждый запрос на шкалу от 0.0 до 1.0, где 1.0 означает "уже в лучшем возможном порядке". Обратный рейтинг получает оценку строго ниже 1.0; рейтинг из одних нулей (ничего релевантного) определяется как 0.0.

Что строить.

  • dcg(rels) -> дисконтированная кумулятивная выгода списка оценок релевантности, используя math.log2(i + 1) с i, начинающимся с 1.
  • ndcg_at_k(ranked_rels, k) -> dcg из верхних k деленное на dcg тех же оценок, отсортированных по убыванию (идеал), верхние k. Если идеал DCG равен 0, возвращайте 0.0 вместо деления на ноль.

Проверьте вручную один: dcg([3, 0, 2]) это 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Нажмите Run чтобы сравнить идеальный порядок с обратным.

Твоя очередь

Напишите dcg(rels) возвращающий discounted cumulative gain sum(rel_i / log2(i + 1)) с позициями i считаемыми от 1. Затем напишите ndcg_at_k(ranked_rels, k, ideal_rels=None) возвращающий dcg из топ k деленное на идеальный DCG: оценки релевантности every оцененного документа, отсортированные по убыванию, топ k. Они приходят из ideal_rels если даны; когда это None, используйте ranked_rels сам (это подходит только если рейтинг уже содержит каждый релевантный документ). Взятие идеала только из извлеченного списка это классическая ошибка: система, которая находит 1 из 3 релевантных документов на позиции 1, получила бы идеальный балл 1.0. Возвращайте 0.0 когда идеальный DCG равен 0 так чтобы рейтинг из нулей не делил на ноль.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.