Оценки на основе утверждений (exact-match и contains)
Вы изменили промпт и результат кажется лучше. Это ощущение не является результатом. Задача eval заключается в том, чтобы заменить его числом, которое можно вставить в pull request: этот промпт получает 0.86 на золотом сете, старый получил 0.74. Прежде чем использовать что-то сложное, рабочая лошадка eval самая дешевая: возьмите размеченный набор входных данных с известными правильными ответами, запустите свою систему и посчитайте, сколько ответов она дала верно.
Подвох в том, чтобы решить, что значит «правильно». LLM почти никогда не возвращает золотую строку байт в байт. Она добавляет точку, делает слово заглавным или оборачивает ответ в предложение. Поэтому вы выбираете match mode:
- exact -> предсказание равно запечатанный ответ после того как вы нормализуете его (строчные буквы, удаление пробелов по краям). Используйте это для коротких, закрытых ответов: метка, да/нет, город.
- содержит -> золотой ответ появляется где-то внутри предсказания. Используйте это, когда модели разрешено болтать: "Столица - Париж" все равно должно считаться верным для золотого
paris.
Нормализация важна. Без нее "Paris" и "paris" считаются ошибкой и ваша оценка лжет вам. Вот структура одного сравнения:
def score_one(pred, gold, mode):
p = pred.strip().lower()
g = gold.strip().lower()
if mode == "exact":
return 1.0 if p == g else 0.0
if mode == "contains":
return 1.0 if g in p else 0.0
raise ValueError("unknown mode: " + mode)Доля верных ответов (accuracy) это просто среднее значение этих баллов за каждый пример. В реальном тест-стенде predictions приходят из живого вызова модели; здесь вы оцениваетесь по математике подсчета баллов, это та часть, которая должна быть абсолютно точной. Еще две проверки есть в каждом тест-стенде с учетом безопасности: allow-list (каждый вывод должен быть одним из фиксированного набора меток) и forbidden-pattern сканирование (ни один вывод не может содержать запрещенную фразу типа "as an AI").
Что строить.
evaluate(predictions, gold, mode)-> средний балл exact-or-contains по двум параллельным спискам,rounded до 4 знаков. Пустой список возвращает0.0, никогда не вызывает сбой. ВызывайтеValueErrorпри неизвестном режиме.label_in_set(outputs, allowed)->{"passed", "failed"}подсчет количества очищенных результатов в набореallowed.has_forbidden(text, patterns)->Trueесли любое regex изpatternsнайдено вtext.
Нажмите Run, чтобы получить золотой набор в обоих режимах.
Напишите evaluate(predictions, gold, mode), возвращающий средний балл по двум параллельным спискам, где mode это 'exact' (нормализованное равенство) или 'contains' (золотой ответ внутри предсказания); нормализуйте с помощью strip().lower(), round accuracy до 4 знаков, возвращайте 0.0 на пустом наборе и выбрасывайте ValueError при неизвестном режиме. Также напишите label_in_set(outputs, allowed) -> {'passed', 'failed'}, подсчитывающий очищенные результаты против набора allowed, и has_forbidden(text, patterns) -> True, если любой шаблон regex найден в text, игнорируя регистр (так что as an ai также ловит "As an AI").
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.