Программа курса Урок 236 из 250 · Проект: Prompt Evaluation CI
Проект: Prompt Evaluation CI

Золотой набор + Оценщики

Вы отправили новый prompt, и он кажется лучше. Ваш тимлид задает единственный вопрос, который имеет значение: насколько лучше, и как вы это знаете? "Вайб" не проходит код-ревью. Задача состоит в том, чтобы превратить туманное утверждение в число, которое можно защитить, и основой каждого инструмента для оценки prompt-ов является gold set (список входных данных, сопоставленных с их известными правильными ответами) плюс scorer (функция, которая говорит, насколько ответ модели близок к gold answer).

Это урок 1 из трех частей проекта. К концу модуля у вас будет настоящий harness для оценки prompt с CI regression gate -> тот самый инструмент, который менеджер по найму увидит в резюме как "built a prompt-eval harness + regression gate" и сразу поймет, что вы можете ответственно выпускать функции LLM. Сегодня вы создаете измерительный инструмент: три scorers и runner, который применяет один из них ко всему gold set.

Честное замечание по охвату: тест-стенд и логика проверки регрессии, которые вы здесь строите, настоящие и переносимые, но модель судьи имитируется и "accuracy" здесь это точное совпадение. В реальном проекте вы бы подключили эти же части к живой модели судьи и более сложным оценщикам.

Для разных задач нужны разные оценщики, поэтому вы создаете три:

  • score_exact(pred, gold) -> 1.0 если prediction равен gold answer после .strip() на обоих, иначе 0.0. Это правильный вызов для классификатора ("positive" против "negative"), где считается только точное совпадение.
  • score_contains(pred, gold) -> 1.0 если золотая строка встречается где угодно внутри предсказания (без учета регистра, обе строки очищены), иначе 0.0. Хорошо подходит для проверок типа «упомянул ли ответ ключевой факт?», где лишние слова допустимы.
  • token_f1(pred, gold) -> partial-credit оценка в [0.0, 1.0] на основе пересечения слов, основной инструмент для ответов в свободном формате, где почти правильный ответ должен быть лучше совсем неправильного.

Как работает токен F1. Переведите в нижний регистр и разделите обе строки на токены слов. Посчитайте, сколько общих токенов у них есть, учитывая дубликаты (рассматривайте списки токенов как мультимножества, поэтому collections.Counter и его & пересечение ваши друзья). Затем:

overlap   = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens)   # of the words I said, how many were right?
recall    = overlap / len(gold_tokens)   # of the words I should have said, how many did I?
f1        = 2 * precision * recall / (precision + recall)

Пример работы: pred="the quick brown fox", gold="the lazy brown dog". У них общие the и brown -> пересечение 2. Precision это 2/4, recall это 2/4, значит F1 это 0.5. Обратите внимание на края: если с любой стороны ноль токенов или пересечение равно нулю, F1 это 0.0 (никогда не делите на ноль).

Наконец, раннер, который превращает scorer в evaluation:

  • run_suite(predictions, golds, scorer) -> оценивайте каждую пару (pred, gold) с помощью заданной функции scorer и возвращайте {"score": mean_score, "per_case": [list of each case's score]}. Среднее значение по пустому набору составляет 0.0.

Прохождение scorer in (вместо жесткого кодирования) это дизайн, который позволяет оценивать как классификаторы с точным совпадением, так и ответы в свободном формате. Нажмите Run, чтобы оценить крошечный золотой набор тремя разными способами.

Твоя очередь

Создайте ядро оценки для системы оценки промптов. Напишите score_exact(pred, gold) (1.0 при точном совпадении без пробелов иначе 0.0), score_contains(pred, gold) (1.0 если очищенный и приведенный к нижнему регистру gold является подстрокой prediction иначе 0.0), и token_f1(pred, gold) (F1 по перекрытию токенов над токенами слов в нижнем регистре, 0.0 когда любая сторона пуста или нет перекрытия). Затем напишите run_suite(predictions, golds, scorer) возвращающий {"score": mean, "per_case": [scores]} (mean 0.0 на пустом наборе).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.