Шлюз регрессии
Это финал, и строка в вашем резюме: построил систему оценки промптов + шлюз регрессии.У вас есть скореры (урок 1) и парсер судьи (урок 2). Теперь вы соединяешь деталь, которая делает это CI: шлюз, который запускается при каждом изменении промпта и блокирует слияние, если упала доля верных ответов (accuracy). Это то, что не дает «маленькой правке» коллеги тихо обрушить долю верных ответов (accuracy) в продакшене -> автоматический ревьюер, который никогда не устает.
Модель: у вас есть золотой набор и две версии промпта, каждая из которых выдает список предсказаний по этому набору. Accuracy здесь это просто доля верных ответов (accuracy), которые точно совпадают с золотым ответом (stripped). Сначала сравните две версии:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, где каждая accuracy это доля верных ответов (accuracy) по точному совпадению сgoldsиdeltaэто насколько v2 сместилось относительно v1. Положительная дельта означает, что кандидат улучшился; отрицательная означает, что он ухудшился.
Затем сами ворота. В CI вы не блокируете из-за шума -> min_delta порог позволяет кандидату упасть на крошечную, допустимую величину (часто 0.0, что значит "не должно стать хуже") перед тем как он будет отклонен:
gate(baseline, candidate, min_delta)->baselineиcandidateкаждый являются парой(preds, golds). Оценивайте оба как exact-match accuracy, вычислитеdelta = candidate_acc - baseline_accи верните{"pass": bool, "delta": delta, "report": str}. Шлюз passes когдаdelta >= min_deltaи fails иначе.
report - это понятная человеку строка в логе CI. Сделайте так, чтобы она сообщала результат и цифры, например "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" или вариант FAIL: .... Тесты проверяют, что отчет начинается с PASS или FAIL соответствующего булеву значению и упоминает обе accuracy, так что точные слова на ваше усмотрение, но факты должны быть в нем.
Конкретно: базовый уровень на 0.8 и кандидат на 0.6 с min_delta=0.0 -> delta -0.2, шлюз fails, слияние заблокировано. Поменяйте их и кандидат улучшается -> шлюз passes. Этот единственный булевый тип это то, что вы подключаете к CI, чтобы превратить "промпт кажется лучше" в "промпт доказано не хуже, или билд красный". Нажмите Run, чтобы отсечь улучшение и регрессию.
Постройте CI регрессионный гейт. Напишите compare(v1_preds, v2_preds, golds) возвращающий {"v1", "v2", "delta"} где каждое значение это exact-match accuracy (доля предсказаний равных очищенному gold) и delta = v2 - v1. Напишите gate(baseline, candidate, min_delta) принимающий две пары (preds, golds) и возвращающий {"pass": bool, "delta": float, "report": str} проходящий если delta >= min_delta. Отчет должен начинаться с PASS/FAIL (соответствующее boolean) и упоминать обе accuracy каждая написанная с тремя знаками после запятой ("%.3f" так что 0.5 отображается как 0.500). Регрессия должна не проходить гейт; улучшение должно проходить.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.