LLM-as-Judge: Разбор критериев + вердикта
Exact-match и token-F1 ломаются в тот момент, когда ответы становятся открытыми. "Summarize this ticket" имеет тысячу хороших ответов и ни одной золотой строки. Отраслевой обходной путь это LLM-as-judge: вы просите вторую модель прочитать ответ по rubric и вернуть вердикт. Именно так команды оценивают чат-ботов, ответы RAG и транскрипты агентов в масштабе.
Вот инженерная реальность и то, что проверяет менеджер по найму: судья это языковая модель, поэтому ее ответ это небрежный свободный текст. Она может сказать VERDICT: PASS в одном запуске и Final verdict - fail в следующем, иногда сначала с абзацем рассуждений. Хрупкая часть любого механизма судьи это не промпт, это parser который вытаскивает чистый, пригодный для машины результат из этого текста. Поэтому в этом уроке судья mocked (нет живой модели, нет сети) и вы строите два детерминированных компонента вокруг нее: промпт рубрики и парсер вердикта.
Создайте промпт для рубрики. build_rubric(criteria) принимает список строк критериев и возвращает одну строку промпта для судьи. Он должен:
- содержит слово
Rubric, чтобы судья знал задачу, - перечислите каждый критерий с новой строки, пронумеровав их от 1 (
1. accuracy,2. clarity, ...), - и закончите тем, что скажете судье точный контракт вывода: строка
VERDICT: PASSилиVERDICT: FAILи строкаSCORE: <0-10>. (Вы defining формат, который прочитает ваш собственный парсер.)
Постройте парсер. parse_verdict(judge_text) сканирует сырой ответ судьи и возвращает {"verdict": "PASS" or "FAIL", "score": int}. Правила надежности, которые навязывает вам реальный вывод судьи:
- Be case-insensitive:
pass,PASS, иPassвсе означают PASS. - Засчитывается только вердикт с меткой:
VERDICT: PASS,verdict = fail,verdict - pass. Просто слово "pass" в рассуждении - не решение: "VERDICT: FAIL. The fix would make it pass." - это FAIL, а "this does not pass" никогда не должно считаться PASS. Если судья пишет несколько вердиктов с метками (передумал), побеждает последний. - A score должен быть целым числом от 0 до 10, как указано в вашей рубрике. Игнорируйте все значения вне этого диапазона («SCORE: 85» это нарушение контракта судьей, а не отличный ответ). Из всех допустимых оценок побеждает последняя.
- Верните безопасное значение по умолчанию, если ничего валидного не найдено: verdict
"FAIL"и score0. Нечитаемый ответ судьи никогда не должен молча считаться прохождением.
Найдите вердикты с re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) и оценки с re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), оставьте оценки от 0 до 10, затем возьмите последние из каждой. Мы оцениваем только парсер и рубрику; вызов live judge в этом уроке представлен в виде прозы и никогда не запускается в тестах. Нажмите Run, чтобы спарсить несколько ответов судьи.
Создайте детерминированную часть системы LLM-as-judge (судья имитируется). Напишите build_rubric(criteria), возвращающую строку prompt, которая содержит Rubric, нумерует каждый критерий с 1 по порядку в новой строке и указывает контракт вывода VERDICT: PASS/FAIL + SCORE: <0-10>. Напишите parse_verdict(judge_text) (оценка может быть записана SCORE: 7, score=7 или Score 7), возвращающую {"verdict": "PASS"|"FAIL", "score": int}: без учета регистра, считающую только помеченные вердикты (VERDICT: PASS, verdict = fail, verdict - pass) и только оценки от 0 до 10, выбирая ПОСЛЕДНЮЮ из каждой, и возвращающую {"verdict": "FAIL", "score": 0} по умолчанию, если ничего нет.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.