Программа курса Урок 162 из 250 · Оценка RAG и Retrieval
Оценка RAG и Retrieval

Средний обратный ранг

Precision и recall считают топ k как мешок: релевантный документ на позиции 1 считается так же, как на позиции 5. Но порядок важен. Пользователь читает сверху, и RAG prompt обычно сильнее всего опирается на первый chunk. Mean Reciprocal Rank (MRR) вознаграждает получение релевантного результата high.

Для одного запроса reciprocal rank равен 1 / (rank of the first relevant doc), считая ранги от 1. Если первый релевантный документ находится на позиции 1, вы получаете 1.0; на позиции 2 вы получаете 0.5; на позиции 3, 1/3. Если вообще нет релевантных документов, результат равен 0.0. Важен только первый результат, что является идеальной моделью для вопроса «появился ли ответ там, где пользователь (или модель) будет искать?»

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

MRR это просто среднее значение этих обратных рангов по всему набору запросов. Два запроса с оценками 1.0 и 0.5 дают MRR 0.75. Это стандартный основной показатель для поиска ответов на вопросы, где у каждого запроса обычно есть один правильный ответ, который вы хотите увидеть первым.

Что строить.

  • reciprocal_rank(retrieved, relevant) -> пройдите по ранжированному list, и как только вы встретите doc в relevant верните 1.0 / rank (ранги начинаются с 1). Если вы ни разу не встретите один, верните 0.0.
  • mrr(queries) -> queries - это список пар (retrieved, relevant); вычислите средний обратный ранг для каждой пары. Пустой список возвращает 0.0, а не ошибку.

Используйте enumerate(retrieved, start=1), чтобы индекс уже был рангом. Нажмите Run, чтобы оценить два запроса и увидеть среднее значение.

Твоя очередь

Напишите reciprocal_rank(retrieved, relevant), возвращающий 1.0 / (rank of the first relevant doc) с рангами, считаемыми от 1, или 0.0, если соответствующий документ не найден. Затем напишите mrr(queries), где queries это список пар (retrieved, relevant), возвращающий среднее значение их обратных рангов (и 0.0 для пустого списка).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.