Программа курса Урок 130 из 250 · Промпт-инжиниринг для ИИ-инженеров
Промпт-инжиниринг для ИИ-инженеров

Оценка промптов (доля верных ответов (accuracy) на золотом сете)

"Новый промпт кажется лучше" это не ответ. Чтобы узнать правду, вы оставляете gold set: входные данные, соединенные с правильными ответами, которым вы доверяете. Вы запускаете промпт на этих данных, сравниваете каждый прогноз с его запечатанным ответом и сообщаете число. Это число позволяет сравнить промпт v1 и v2, не обманывая себя.

Вы построите scorer. score_prediction(pred, gold) возвращает 1.0 для совпадения и 0.0 в противном случае, сравнивая без учета регистра и игнорируя окружающие пробелы, потому что "Yes", "yes", и " yes " на практике являются одним и тем же ответом.

evaluate(predictions, golds) проходит по двум спискам синхронно, оценивает каждую пару и возвращает сводку:

evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}

Округлите accuracy до 4 знаков. Сделайте empty set безопасным: zero golds возвращает {"accuracy": 0.0, "correct": 0, "total": 0} вместо деления на ноль, потому что eval sets фильтруются, и вы не хотите, чтобы harness упал на пустом slice.

Один из скрытых тестов запускает ваш evaluate на 50 случайно сгенерированных наборах предсказаний/эталонов и сравнивает его с эталоном, вычисленным в тесте. Таблица поиска видимых случаев не пройдет это испытание, в этом и суть: вы создаете настоящий скорер, а не зазубриваете ответы. Нажмите Run, чтобы оценить результат.

Твоя очередь

Напишите score_prediction(pred, gold), возвращающий 1.0, если два значения совпадают без учета регистра и окружающих пробелов, иначе 0.0. Напишите evaluate(predictions, golds), возвращающий {"accuracy", "correct", "total"} по парам из списков, с точностью до 4 знаков после запятой и пустым множеством, возвращающим все нули (без сбоя).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.