Conteúdo do curso Lição 169 de 250 · Avaliações e Testes de LLM
Avaliações e Testes de LLM

LLM-as-Judge (Construção de Rubrica + Parse de Veredito)

Exact-match, F1 e ROUGE precisam de uma resposta de referência para comparar. Mas, para saídas abertas, "essa explicação ficou clara?", "o tom foi profissional?", não existe uma única string certa. A resposta escalável que a indústria adotou é o LLM-as-judge: você dá a um segundo modelo a resposta mais uma rubrica e pede que ele pontue cada critério. Com uma rubrica bem especificada, ele muitas vezes chega a 80-90% de concordância com avaliadores humanos, mas isso varia muito conforme a tarefa e pode cair bastante em casos sutis ou adversariais, então trate qualquer número isolado como específico da tarefa, e não como uma lei. Mesmo assim, ele costuma ser consistente o bastante para rodar em milhares de saídas toda noite, desde que você o confira de tempos em tempos contra rótulos humanos.

Esta é a parte honesta, e o motivo de esta lição poder ser avaliada. A pontuação de fato do juiz é uma chamada ao modelo, e chamadas ao modelo não são determinísticas, então nunca as avaliamos. O que você constrói, e o que é avaliado, é a estrutura determinística em volta da chamada: montar o prompt do juiz e interpretar o veredito de volta. Em produção, a etapa do meio é uma chamada real:

# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)

O WebLLM no dispositivo deste curso pode fazer o papel de juiz ao vivo no navegador, mas os testes nunca dependem dele. Eles verificam o prompt que você monta e o parser que você escreve.

O prompt precisa amarrar o juiz: diga o papel, liste os critérios da rubrica numerados, mostre a resposta e exija um veredito legível por máquina para que você possa interpretá-lo. O truque padrão é forçar uma linha por critério em um formato fixo, aqui score: N/5:

You are a strict grader. Score the answer against the rubric.

RUBRIC:
1. Is it factually correct?
2. Is it concise?

ANSWER:
<the answer text>

For each rubric item, reply on its own line as 'score: N/5'.

Interpretar vira então uma varredura com regex por cada linha score: N/5 (sem diferenciar maiúsculas e minúsculas), tirando os inteiros. A agregação transforma uma lista de notas em uma média e uma taxa de aprovação: a fração de notas iguais ou acima de um limite. A taxa de aprovação é o que gera alertas; uma única resposta ruim em um lote é ruído, uma taxa de aprovação caindo é uma regressão.

O que construir.

  • build_judge_prompt(answer, rubric) -> uma string de prompt contendo cada item numerado da rubrica, a resposta e uma instrução score: N/5.
  • parse_judge_scores(text) -> a lista de inteiros de cada linha score: N/5, em ordem, sem diferenciar maiúsculas e minúsculas.
  • aggregate(scores, threshold=3) -> {"mean", "pass_rate"} (ambos com round para 4 casas); uma lista vazia retorna zeros.

Clique em Run para montar um prompt de juiz, interpretar um veredito de exemplo e agregar.

Sua vez

Escreva build_judge_prompt(answer, rubric) retornando uma string de prompt que contém cada item numerado da rubrica, o texto da resposta e uma diretiva para responder score: N/5 por item. Escreva parse_judge_scores(text) retornando a lista de inteiros de cada linha score: N/5 em ordem (sem diferenciar maiúsculas de minúsculas). Escreva aggregate(scores, threshold=3) retornando {'mean', 'pass_rate'} arredondado para 4 casas decimais, onde pass_rate é a fração de scores >= threshold e uma lista vazia retorna zeros.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.