NDCG@k: Оценка релевантности
Точность, полнота и MRR все считают релевантность как флаг да/нет. Но реальная релевантность имеет оттенки: документ может быть идеальным, отчасти полезным или не по теме. NDCG (Normalized Discounted Cumulative Gain) это метрика для оцененной релевантности, и именно ее реально отчитывают крупные команды поиска и рекомендаций.
В ней есть три идеи. Сначала, gain: каждый результат имеет оценку релевантности (например, 3 = идеально, 1 = минимально, 0 = нерелевантно). Второе, discount по позиции, потому что отличный результат на 10 месте помогает меньше, чем на 1 месте. Discounted Cumulative Gain суммирует gain каждого результата, деленный на log2(position + 1):
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...На позиции 1 делитель равен log2(2) = 1 (без скидки); на позиции 2 он равен log2(3); и так далее, поэтому последующие позиции стоят все меньше. В-третьих, normalization: сам по себе DCG не ограничен и его трудно сравнивать между запросами, поэтому делим на ideal DCG (IDCG), это тот DCG, который вы бы получили, если бы те же оценки релевантности были отсортированы от лучшей к худшей.
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)Это ставит каждый запрос на шкалу от 0.0 до 1.0, где 1.0 означает "уже в лучшем возможном порядке". Обратный рейтинг получает оценку строго ниже 1.0; рейтинг из одних нулей (ничего релевантного) определяется как 0.0.
Что строить.
dcg(rels)-> дисконтированная кумулятивная выгода списка оценок релевантности, используяmath.log2(i + 1)сi, начинающимся с 1.ndcg_at_k(ranked_rels, k)->dcgиз верхнихkделенное наdcgтех же оценок, отсортированных по убыванию (идеал), верхниеk. Если идеал DCG равен0, возвращайте0.0вместо деления на ноль.
Проверьте вручную один: dcg([3, 0, 2]) это 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0. Нажмите Run чтобы сравнить идеальный порядок с обратным.
Напишите dcg(rels) возвращающий discounted cumulative gain sum(rel_i / log2(i + 1)) с позициями i считаемыми от 1. Затем напишите ndcg_at_k(ranked_rels, k, ideal_rels=None) возвращающий dcg из топ k деленное на идеальный DCG: оценки релевантности every оцененного документа, отсортированные по убыванию, топ k. Они приходят из ideal_rels если даны; когда это None, используйте ranked_rels сам (это подходит только если рейтинг уже содержит каждый релевантный документ). Взятие идеала только из извлеченного списка это классическая ошибка: система, которая находит 1 из 3 релевантных документов на позиции 1, получила бы идеальный балл 1.0. Возвращайте 0.0 когда идеальный DCG равен 0 так чтобы рейтинг из нулей не делил на ноль.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.