Программа курса Урок 169 из 250 · Оценка и тестирование LLM
Оценка и тестирование LLM

LLM-as-Judge (Создание рубрики + Парсинг вердикта)

Exact-match, F1 и ROUGE всем нужен золотой ответ для сравнения. Но для открытых ответов, например, «был ли этот ответ понятным?», «был ли тон профессиональным?», нет одной правильной строки. Масштабируемый ответ, на котором остановилась индустрия, это LLM-as-judge: вы даете второй модели ответ плюс rubric и просите ее оценить каждый критерий. На хорошо прописанном rubric она часто попадает в диапазон согласия 80-90% с людьми, но это сильно зависит от задачи и может резко упасть на нюансах или враждебных случаях, поэтому относитесь к любому числу как к специфичному для задачи, а не как к закону. Даже так, это обычно достаточно стабильно, чтобы запускать на тысячах ответов каждую ночь, пока вы периодически проверяете его выборочно по человеческим меткам.

Вот честная часть, и причина, по которой этот урок можно проверить. Само оценивание судьи - это вызов модели, а вызовы модели недетерминированы, поэтому мы их никогда не проверяем. То, что вы проектируете и за что получаете оценку, - это детерминированный каркас вокруг вызова: сборка промпта для судьи и разбор вердикта обратно. В продакшене средний шаг - настоящий вызов:

# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)

WebLLM на устройстве в этом курсе может выступать в роли судьи прямо в браузере, но тесты никогда не зависят от него. Они проверяют промпт, который вы строите, и парсер, который вы пишете.

Промпт должен четко ограничить судью: укажите роль, перечислите критерии рубрики по номерам, покажите ответ и потребуйте машиночитаемый вердикт, чтобы вы могли его распарсить. Стандартный трюк заключается в том, чтобы заставить выводить один критерий в одну строку в фиксированном формате, здесь score: N/5:

You are a strict grader. Score the answer against the rubric.

RUBRIC:
1. Is it factually correct?
2. Is it concise?

ANSWER:
<the answer text>

For each rubric item, reply on its own line as 'score: N/5'.

Parsing - это проход по каждой score: N/5 строке с помощью regex (без учета регистра) для извлечения целых чисел. Aggregation превращает список scores в mean и pass-rate: долю scores выше или равную порогу. На pass-rate вы подаете сигнал; один плохой ответ в пакете - это шум, а скользящий pass-rate - это регрессия.

Что строить.

  • build_judge_prompt(answer, rubric) -> строка prompt, содержащая каждый пронумерованный пункт рубрики, ответ и директиву score: N/5.
  • parse_judge_scores(text) -> список целых чисел из каждой строки score: N/5, по порядку, без учета регистра.
  • aggregate(scores, threshold=3) -> {"mean", "pass_rate"} (оба rounded до 4 знаков); пустой list возвращает нули.

Нажмите Run, чтобы создать prompt для судьи, разобрать пример вердикта и агрегировать данные.

Твоя очередь

Напишите build_judge_prompt(answer, rubric) возвращающую строку prompt, которая содержит каждый пронумерованный пункт рубрики, текст ответа и указание ответить score: N/5 по каждому пункту. Напишите parse_judge_scores(text) возвращающую список целых чисел из каждой строки score: N/5 по порядку (без учета регистра). Напишите aggregate(scores, threshold=3) возвращающую {'mean', 'pass_rate'} округленную до 4 знаков, где pass_rate это доля оценок >= threshold и пустой список возвращает нули.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.