Оцените Ассистента (P@k + Answer Accuracy + Gate)
Это тот урок, который приносит вторую половину строки в вашем резюме: и оценивал. Любой может собрать демо RAG. Что отличает джуниора от того, кого вы бы наняли для работы над производственным ассистентом, так это способность измерять это и предотвращать выпуск плохого изменения. Вы построите систему оценки и барьер регрессии.
Вы оцениваете по gold set: это небольшой размеченный список, где каждый случай содержит запрос, id релевантных статей и ожидаемый текст ответа. Две группы метрик:
- Качество извлечения --
precision_at_k: из топ-k id, которые вернул ваш retriever, какая часть является релевантной. Это говорит вам, смотрит ли бот вообще на правильные статьи. - Качество ответа -- доля верных ответов (accuracy) полученного ответа по сравнению с ожидаемым текстом в двух режимах:
contains(ожидаемый фрагмент есть в ответе без учета регистра) иexact(обрезка и точное совпадение).containsболее мягкий и реалистичный вариант для ответов в свободном формате.
Построй эти:
precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config) # -> a metrics dict over the whole gold set
regression_gate(old, new) # -> True if safe to ship, False if it regressedprecision_at_k: доля первых k извлеченных ids, которые есть в релевантном множестве; 0.0 для пустого извлечения. answer_accuracy: 1.0 или 0.0 для одного предсказания, с учетом моды.
evaluate(config) связывает всё воедино. config dict содержит gold list, retriever function (query -> ranked ids), answerer function (query -> text) и настройки k и mode. Запустите каждый gold case и верните dict с как минимум n (cases scored), precision_at_k (среднее по cases, округленное до 4 знаков) и answer_accuracy (среднее, округленное до 4). Пустой эталонный набор не должен вызывать ошибку -- верните нули.
regression_gate(old, new) это CI guard, который вы подключаете к pull request: возвращайте True только если новый запуск не стал хуже по метрике (answer_accuracy по умолчанию) -- равный или лучший результат подходит, падение возвращает False. Это то, что в реальной жизни не дает правке промпта тихо обрушить качество. Нажмите Run чтобы оценить идеального бота и сломанного и посмотрите как gate останавливает регрессию.
Создайте систему оценки на основе размеченного золотого набора. precision_at_k(retrieved, relevant, k) для поиска и answer_accuracy(predicted, expected, mode) (contains / exact) для ответов. evaluate(config) запускает золотой набор (с функциями retriever и answerer, k, mode) и возвращает словарь метрик средних значений (n, precision_at_k, answer_accuracy), безопасный для пустых данных. regression_gate(old, new) возвращает True только если доля верных ответов (accuracy) не упала.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.