Золотой набор + Оценщики
Вы отправили новый prompt, и он кажется лучше. Ваш тимлид задает единственный вопрос, который имеет значение: насколько лучше, и как вы это знаете? "Вайб" не проходит код-ревью. Задача состоит в том, чтобы превратить туманное утверждение в число, которое можно защитить, и основой каждого инструмента для оценки prompt-ов является gold set (список входных данных, сопоставленных с их известными правильными ответами) плюс scorer (функция, которая говорит, насколько ответ модели близок к gold answer).
Это урок 1 из трех частей проекта. К концу модуля у вас будет настоящий harness для оценки prompt с CI regression gate -> тот самый инструмент, который менеджер по найму увидит в резюме как "built a prompt-eval harness + regression gate" и сразу поймет, что вы можете ответственно выпускать функции LLM. Сегодня вы создаете измерительный инструмент: три scorers и runner, который применяет один из них ко всему gold set.
Честное замечание по охвату: тест-стенд и логика проверки регрессии, которые вы здесь строите, настоящие и переносимые, но модель судьи имитируется и "accuracy" здесь это точное совпадение. В реальном проекте вы бы подключили эти же части к живой модели судьи и более сложным оценщикам.
Для разных задач нужны разные оценщики, поэтому вы создаете три:
score_exact(pred, gold)->1.0если prediction равен gold answer после.strip()на обоих, иначе0.0. Это правильный вызов для классификатора ("positive" против "negative"), где считается только точное совпадение.score_contains(pred, gold)->1.0если золотая строка встречается где угодно внутри предсказания (без учета регистра, обе строки очищены), иначе0.0. Хорошо подходит для проверок типа «упомянул ли ответ ключевой факт?», где лишние слова допустимы.token_f1(pred, gold)-> partial-credit оценка в[0.0, 1.0]на основе пересечения слов, основной инструмент для ответов в свободном формате, где почти правильный ответ должен быть лучше совсем неправильного.
Как работает токен F1. Переведите в нижний регистр и разделите обе строки на токены слов. Посчитайте, сколько общих токенов у них есть, учитывая дубликаты (рассматривайте списки токенов как мультимножества, поэтому collections.Counter и его & пересечение ваши друзья). Затем:
overlap = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens) # of the words I said, how many were right?
recall = overlap / len(gold_tokens) # of the words I should have said, how many did I?
f1 = 2 * precision * recall / (precision + recall)Пример работы: pred="the quick brown fox", gold="the lazy brown dog". У них общие the и brown -> пересечение 2. Precision это 2/4, recall это 2/4, значит F1 это 0.5. Обратите внимание на края: если с любой стороны ноль токенов или пересечение равно нулю, F1 это 0.0 (никогда не делите на ноль).
Наконец, раннер, который превращает scorer в evaluation:
run_suite(predictions, golds, scorer)-> оценивайте каждую пару(pred, gold)с помощью заданной функцииscorerи возвращайте{"score": mean_score, "per_case": [list of each case's score]}. Среднее значение по пустому набору составляет0.0.
Прохождение scorer in (вместо жесткого кодирования) это дизайн, который позволяет оценивать как классификаторы с точным совпадением, так и ответы в свободном формате. Нажмите Run, чтобы оценить крошечный золотой набор тремя разными способами.
Создайте ядро оценки для системы оценки промптов. Напишите score_exact(pred, gold) (1.0 при точном совпадении без пробелов иначе 0.0), score_contains(pred, gold) (1.0 если очищенный и приведенный к нижнему регистру gold является подстрокой prediction иначе 0.0), и token_f1(pred, gold) (F1 по перекрытию токенов над токенами слов в нижнем регистре, 0.0 когда любая сторона пуста или нет перекрытия). Затем напишите run_suite(predictions, golds, scorer) возвращающий {"score": mean, "per_case": [scores]} (mean 0.0 на пустом наборе).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.