Программа курса Урок 170 из 250 · Оценка и тестирование LLM
Оценка и тестирование LLM

Шлюз регрессии промпта

У вас есть оценщики (exact match, F1, LLM judge). Последний элемент превращает их в gate: решение да/нет, которое ваш CI запускает при каждом изменении промпта, чтобы "небольшая правка" никогда не могла незаметно ухудшить ситуацию. Это разница между measuring качеством и defending его.

("Regression" здесь означает ухудшение, обычный смысл в разработке ПО, а не метод моделирования из модуля ML.)

Вы сравниваете два запуска на ОДНОМ наборе eval: baseline (промпт в продакшене) и candidate (ваше изменение) как два списка оценок по каждому примеру в [0, 1]. Гейт блокирует изменение, если оно не проходит три порога:

  • Нет общего снижения: средний балл кандидата не меньше среднего балла базового уровня (маленький допуск поглощает шум).
  • Несколько новых ошибок: количество примеров, где результат кандидата хуже, чем базовый уровень, остается в пределах Бюджета (одна большая победа не должна скрывать несколько тихих регрессий).
  • A floor: абсолютный минимум среднего, если вы его установите.

Создайте regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) возвращающий словарь с отчетом с baseline_mean, candidate_mean, delta (кандидат минус базовый уровень), regressions (количество индексов, где candidate[i] < baseline[i] - 1e-9), и passed (булево значение, True только когда ВСЕ полоски очищены). Два списка имеют одинаковую длину. Нажмите Run чтобы ограничить кандидат промпт.

Твоя очередь

Напишите regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) над двумя списками одинаковой длины с оценками за каждый пример. Верните {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"}, где delta = candidate_mean - baseline_mean, regressions считают индексы с candidate[i] < baseline[i] - 1e-9, а passed равно True только когда candidate_mean >= baseline_mean - tol И regressions <= max_regressions И (min_mean is None или candidate_mean >= min_mean).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.