Программа курса Урок 237 из 250 · Проект: Prompt Evaluation CI
Проект: Prompt Evaluation CI

LLM-as-Judge: Разбор критериев + вердикта

Exact-match и token-F1 ломаются в тот момент, когда ответы становятся открытыми. "Summarize this ticket" имеет тысячу хороших ответов и ни одной золотой строки. Отраслевой обходной путь это LLM-as-judge: вы просите вторую модель прочитать ответ по rubric и вернуть вердикт. Именно так команды оценивают чат-ботов, ответы RAG и транскрипты агентов в масштабе.

Вот инженерная реальность и то, что проверяет менеджер по найму: судья это языковая модель, поэтому ее ответ это небрежный свободный текст. Она может сказать VERDICT: PASS в одном запуске и Final verdict - fail в следующем, иногда сначала с абзацем рассуждений. Хрупкая часть любого механизма судьи это не промпт, это parser который вытаскивает чистый, пригодный для машины результат из этого текста. Поэтому в этом уроке судья mocked (нет живой модели, нет сети) и вы строите два детерминированных компонента вокруг нее: промпт рубрики и парсер вердикта.

Создайте промпт для рубрики. build_rubric(criteria) принимает список строк критериев и возвращает одну строку промпта для судьи. Он должен:

  • содержит слово Rubric, чтобы судья знал задачу,
  • перечислите каждый критерий с новой строки, пронумеровав их от 1 (1. accuracy, 2. clarity, ...),
  • и закончите тем, что скажете судье точный контракт вывода: строка VERDICT: PASS или VERDICT: FAIL и строка SCORE: <0-10>. (Вы defining формат, который прочитает ваш собственный парсер.)

Постройте парсер. parse_verdict(judge_text) сканирует сырой ответ судьи и возвращает {"verdict": "PASS" or "FAIL", "score": int}. Правила надежности, которые навязывает вам реальный вывод судьи:

  • Be case-insensitive: pass, PASS, и Pass все означают PASS.
  • Засчитывается только вердикт с меткой: VERDICT: PASS, verdict = fail, verdict - pass. Просто слово "pass" в рассуждении - не решение: "VERDICT: FAIL. The fix would make it pass." - это FAIL, а "this does not pass" никогда не должно считаться PASS. Если судья пишет несколько вердиктов с метками (передумал), побеждает последний.
  • A score должен быть целым числом от 0 до 10, как указано в вашей рубрике. Игнорируйте все значения вне этого диапазона («SCORE: 85» это нарушение контракта судьей, а не отличный ответ). Из всех допустимых оценок побеждает последняя.
  • Верните безопасное значение по умолчанию, если ничего валидного не найдено: verdict "FAIL" и score 0. Нечитаемый ответ судьи никогда не должен молча считаться прохождением.

Найдите вердикты с re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) и оценки с re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), оставьте оценки от 0 до 10, затем возьмите последние из каждой. Мы оцениваем только парсер и рубрику; вызов live judge в этом уроке представлен в виде прозы и никогда не запускается в тестах. Нажмите Run, чтобы спарсить несколько ответов судьи.

Твоя очередь

Создайте детерминированную часть системы LLM-as-judge (судья имитируется). Напишите build_rubric(criteria), возвращающую строку prompt, которая содержит Rubric, нумерует каждый критерий с 1 по порядку в новой строке и указывает контракт вывода VERDICT: PASS/FAIL + SCORE: <0-10>. Напишите parse_verdict(judge_text) (оценка может быть записана SCORE: 7, score=7 или Score 7), возвращающую {"verdict": "PASS"|"FAIL", "score": int}: без учета регистра, считающую только помеченные вердикты (VERDICT: PASS, verdict = fail, verdict - pass) и только оценки от 0 до 10, выбирая ПОСЛЕДНЮЮ из каждой, и возвращающую {"verdict": "FAIL", "score": 0} по умолчанию, если ничего нет.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.