Программа курса Урок 166 из 250 · Оценка и тестирование LLM
Оценка и тестирование LLM

Оценки на основе утверждений (exact-match и contains)

Вы изменили промпт и результат кажется лучше. Это ощущение не является результатом. Задача eval заключается в том, чтобы заменить его числом, которое можно вставить в pull request: этот промпт получает 0.86 на золотом сете, старый получил 0.74. Прежде чем использовать что-то сложное, рабочая лошадка eval самая дешевая: возьмите размеченный набор входных данных с известными правильными ответами, запустите свою систему и посчитайте, сколько ответов она дала верно.

Подвох в том, чтобы решить, что значит «правильно». LLM почти никогда не возвращает золотую строку байт в байт. Она добавляет точку, делает слово заглавным или оборачивает ответ в предложение. Поэтому вы выбираете match mode:

  • exact -> предсказание равно запечатанный ответ после того как вы нормализуете его (строчные буквы, удаление пробелов по краям). Используйте это для коротких, закрытых ответов: метка, да/нет, город.
  • содержит -> золотой ответ появляется где-то внутри предсказания. Используйте это, когда модели разрешено болтать: "Столица - Париж" все равно должно считаться верным для золотого paris.

Нормализация важна. Без нее "Paris" и "paris" считаются ошибкой и ваша оценка лжет вам. Вот структура одного сравнения:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)

Доля верных ответов (accuracy) это просто среднее значение этих баллов за каждый пример. В реальном тест-стенде predictions приходят из живого вызова модели; здесь вы оцениваетесь по математике подсчета баллов, это та часть, которая должна быть абсолютно точной. Еще две проверки есть в каждом тест-стенде с учетом безопасности: allow-list (каждый вывод должен быть одним из фиксированного набора меток) и forbidden-pattern сканирование (ни один вывод не может содержать запрещенную фразу типа "as an AI").

Что строить.

  • evaluate(predictions, gold, mode) -> средний балл exact-or-contains по двум параллельным спискам, rounded до 4 знаков. Пустой список возвращает 0.0, никогда не вызывает сбой. Вызывайте ValueError при неизвестном режиме.
  • label_in_set(outputs, allowed) -> {"passed", "failed"} подсчет количества очищенных результатов в наборе allowed.
  • has_forbidden(text, patterns) -> True если любое regex из patterns найдено в text.

Нажмите Run, чтобы получить золотой набор в обоих режимах.

Твоя очередь

Напишите evaluate(predictions, gold, mode), возвращающий средний балл по двум параллельным спискам, где mode это 'exact' (нормализованное равенство) или 'contains' (золотой ответ внутри предсказания); нормализуйте с помощью strip().lower(), round accuracy до 4 знаков, возвращайте 0.0 на пустом наборе и выбрасывайте ValueError при неизвестном режиме. Также напишите label_in_set(outputs, allowed) -> {'passed', 'failed'}, подсчитывающий очищенные результаты против набора allowed, и has_forbidden(text, patterns) -> True, если любой шаблон regex найден в text, игнорируя регистр (так что as an ai также ловит "As an AI").

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.