Программа курса Урок 161 из 250 · Оценка RAG и Retrieval
Оценка RAG и Retrieval

Точность (precision)@k и полнота (recall)@k

Прежде чем вы начнете настраивать любой prompt, ответьте на более сложный вопрос: находит ли retriever вообще правильные документы?Система RAG состоит из двух частей, retrieval и generation, и они могут давать сбои по-разному. Если возвращаются неправильные chunks, никакая полировка prompt не поможет. Поэтому мы измеряем retrieval отдельно, по сравнению с размеченным набором из relevant документов на каждый запрос, используя два числа, которые знает наизусть каждый инженер поиска.

Precision@k спрашивает: какая часть из k документов, которые я вернул, была действительно релевантной? Это метрика «сколько мусора я показал пользователю».

precision@k = (relevant docs in the top k) / (number of docs in the top k)

Recall@k спрашивает обратное: из всех документов, которые were релевантны, какую часть мне удалось вывести в топ k? Это метрика «сколько я пропустил».

recall@k = (relevant docs in the top k) / (total number of relevant docs)

Разберем конкретный пример. Вы извлекаете ["a", "b", "c"] и соответствующий набор это {"a", "c"}. На k=3 два из трех возвращенных docs релевантны, поэтому precision составляет 2/3. Оба релевантных docs были найдены, поэтому recall составляет 1.0. Эти два показателя находятся в противовес: расширяем k и recall растет, в то время как precision обычно падает.

Что строить. Две чистые функции:

  • precision_at_k(retrieved, relevant, k) -> доля извлеченных ID в топе k, которые находятся в relevant. Разделите на количество документов, которые у вас реально есть в топе k (чтобы короткий список или большой k никогда не делились на неправильное число).
  • recall_at_k(retrieved, relevant, k) -> доля relevant в верхнем k, деленная на len(relevant).

Следите за границами, которые проверяют тесты: k больше, чем извлеченный list, и пустой релевантный set (возвращайте 0.0, никогда не делите на ноль). Относитесь к relevant как к set для быстрой проверки наличия. В реальном тест-стенде вы бы подавали сюда выход вашего vector store; здесь они оцениваются напрямую на основе labeled lists.

Одна заметка по охвату: этот модуль охватывает Precision@k, Recall@k, MRR и NDCG. Команды поиска часто также сообщают MAP (mean average precision), который усредняет точность, измеренную на каждом релевантном попадании во всем наборе запросов; четыре метрики здесь являются самым распространенным начальным пунктом.

Нажмите Run чтобы получить рейтинг.

Твоя очередь

Напишите precision_at_k(retrieved, relevant, k) (доля извлеченных ID в верхней части k, которые есть в наборе relevant, деленная на количество документов в верхней части k) и recall_at_k(retrieved, relevant, k) (доля набора relevant, попавших в верхнюю часть k, деленная на len(relevant)). Оба должны возвращать 0.0 на пустых границах (пустое извлечение, пустой релевантный набор) вместо ошибки.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.