Программа курса Урок 216 из 250 · Проект: Помощник службы поддержки клиентов
Проект: Помощник службы поддержки клиентов

Оцените Ассистента (P@k + Answer Accuracy + Gate)

Это тот урок, который приносит вторую половину строки в вашем резюме: и оценивал. Любой может собрать демо RAG. Что отличает джуниора от того, кого вы бы наняли для работы над производственным ассистентом, так это способность измерять это и предотвращать выпуск плохого изменения. Вы построите систему оценки и барьер регрессии.

Вы оцениваете по gold set: это небольшой размеченный список, где каждый случай содержит запрос, id релевантных статей и ожидаемый текст ответа. Две группы метрик:

  • Качество извлечения -- precision_at_k: из топ-k id, которые вернул ваш retriever, какая часть является релевантной. Это говорит вам, смотрит ли бот вообще на правильные статьи.
  • Качество ответа -- доля верных ответов (accuracy) полученного ответа по сравнению с ожидаемым текстом в двух режимах: contains (ожидаемый фрагмент есть в ответе без учета регистра) и exact (обрезка и точное совпадение). contains более мягкий и реалистичный вариант для ответов в свободном формате.

Построй эти:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k: доля первых k извлеченных ids, которые есть в релевантном множестве; 0.0 для пустого извлечения. answer_accuracy: 1.0 или 0.0 для одного предсказания, с учетом моды.

evaluate(config) связывает всё воедино. config dict содержит gold list, retriever function (query -> ranked ids), answerer function (query -> text) и настройки k и mode. Запустите каждый gold case и верните dict с как минимум n (cases scored), precision_at_k (среднее по cases, округленное до 4 знаков) и answer_accuracy (среднее, округленное до 4). Пустой эталонный набор не должен вызывать ошибку -- верните нули.

regression_gate(old, new) это CI guard, который вы подключаете к pull request: возвращайте True только если новый запуск не стал хуже по метрике (answer_accuracy по умолчанию) -- равный или лучший результат подходит, падение возвращает False. Это то, что в реальной жизни не дает правке промпта тихо обрушить качество. Нажмите Run чтобы оценить идеального бота и сломанного и посмотрите как gate останавливает регрессию.

Твоя очередь

Создайте систему оценки на основе размеченного золотого набора. precision_at_k(retrieved, relevant, k) для поиска и answer_accuracy(predicted, expected, mode) (contains / exact) для ответов. evaluate(config) запускает золотой набор (с функциями retriever и answerer, k, mode) и возвращает словарь метрик средних значений (n, precision_at_k, answer_accuracy), безопасный для пустых данных. regression_gate(old, new) возвращает True только если доля верных ответов (accuracy) не упала.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.