Точность (precision)@k и полнота (recall)@k
Прежде чем вы начнете настраивать любой prompt, ответьте на более сложный вопрос: находит ли retriever вообще правильные документы?Система RAG состоит из двух частей, retrieval и generation, и они могут давать сбои по-разному. Если возвращаются неправильные chunks, никакая полировка prompt не поможет. Поэтому мы измеряем retrieval отдельно, по сравнению с размеченным набором из relevant документов на каждый запрос, используя два числа, которые знает наизусть каждый инженер поиска.
Precision@k спрашивает: какая часть из k документов, которые я вернул, была действительно релевантной? Это метрика «сколько мусора я показал пользователю».
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k спрашивает обратное: из всех документов, которые were релевантны, какую часть мне удалось вывести в топ k? Это метрика «сколько я пропустил».
recall@k = (relevant docs in the top k) / (total number of relevant docs)Разберем конкретный пример. Вы извлекаете ["a", "b", "c"] и соответствующий набор это {"a", "c"}. На k=3 два из трех возвращенных docs релевантны, поэтому precision составляет 2/3. Оба релевантных docs были найдены, поэтому recall составляет 1.0. Эти два показателя находятся в противовес: расширяем k и recall растет, в то время как precision обычно падает.
Что строить. Две чистые функции:
precision_at_k(retrieved, relevant, k)-> доля извлеченных ID в топеk, которые находятся вrelevant. Разделите на количество документов, которые у вас реально есть в топеk(чтобы короткий список или большойkникогда не делились на неправильное число).recall_at_k(retrieved, relevant, k)-> доляrelevantв верхнемk, деленная наlen(relevant).
Следите за границами, которые проверяют тесты: k больше, чем извлеченный list, и пустой релевантный set (возвращайте 0.0, никогда не делите на ноль). Относитесь к relevant как к set для быстрой проверки наличия. В реальном тест-стенде вы бы подавали сюда выход вашего vector store; здесь они оцениваются напрямую на основе labeled lists.
Одна заметка по охвату: этот модуль охватывает Precision@k, Recall@k, MRR и NDCG. Команды поиска часто также сообщают MAP (mean average precision), который усредняет точность, измеренную на каждом релевантном попадании во всем наборе запросов; четыре метрики здесь являются самым распространенным начальным пунктом.
Нажмите Run чтобы получить рейтинг.
Напишите precision_at_k(retrieved, relevant, k) (доля извлеченных ID в верхней части k, которые есть в наборе relevant, деленная на количество документов в верхней части k) и recall_at_k(retrieved, relevant, k) (доля набора relevant, попавших в верхнюю часть k, деленная на len(relevant)). Оба должны возвращать 0.0 на пустых границах (пустое извлечение, пустой релевантный набор) вместо ошибки.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.