Conteúdo do curso Lição 237 de 250 · Projeto: Prompt Evaluation CI
Projeto: Prompt Evaluation CI

LLM-as-Judge: Parse de Rubrica + Veredito

Exact-match e token-F1 deixam de funcionar no momento em que as respostas ficam abertas. "Resuma este ticket" tem mil respostas boas e nenhuma string de referência única. A solução que a indústria adotou é o LLM-as-judge: você pede a um segundo modelo que leia a resposta com base em uma rubrica e devolva um veredito. É exatamente assim que equipes avaliam chatbots, respostas de RAG e transcrições de agentes em escala.

Esta é a realidade de engenharia, e o que um gerente de contratação investiga: o juiz é um modelo de linguagem, então a resposta dele é texto livre e bagunçado. Ele pode dizer VERDICT: PASS em uma execução e Final verdict - fail na seguinte, às vezes com um parágrafo de raciocínio antes. A parte frágil de qualquer estrutura de juiz não é o prompt, é o parser que extrai desse texto um resultado limpo e utilizável por máquina. Por isso, nesta lição o juiz é simulado (sem modelo ao vivo, sem rede) e você constrói as duas peças determinísticas em volta dele: o prompt da rubrica e o parser do veredito.

Monte o prompt da rubrica. build_rubric(criteria) recebe uma lista de strings de critérios e retorna uma única string de prompt para o juiz. Ela precisa:

  • conter a palavra Rubric para que o juiz saiba a tarefa,
  • listar cada critério em sua própria linha, numerado a partir de 1 (1. accuracy, 2. clarity, ...),
  • e terminar dizendo ao juiz o contrato exato de saída: uma linha VERDICT: PASS ou VERDICT: FAIL e uma linha SCORE: <0-10>. (Você está definindo o formato que seu próprio parser vai ler.)

Monte o parser. parse_verdict(judge_text) percorre a resposta bruta do juiz e retorna {"verdict": "PASS" or "FAIL", "score": int}. Regras de robustez que a saída real de um juiz impõe:

  • Não diferencie maiúsculas e minúsculas: pass, PASS e Pass significam PASS.
  • Só conta um veredito rotulado: VERDICT: PASS, verdict = fail, verdict - pass. Um "pass" solto no raciocínio não é uma decisão: "VERDICT: FAIL. The fix would make it pass." é FAIL, e "this does not pass" nunca pode contar como PASS. Quando o juiz escreve vários vereditos rotulados (ele mudou de ideia), vale o último.
  • Uma nota precisa ser um número inteiro de 0 a 10, o intervalo que sua rubrica pediu. Ignore qualquer coisa fora disso ("SCORE: 85" é o juiz quebrando o contrato, não uma resposta ótima). Entre as notas válidas, vale a última.
  • Retorne um padrão seguro quando nada válido for encontrado: veredito "FAIL" e nota 0. Uma resposta do juiz que não dá para interpretar nunca pode contar silenciosamente como aprovação.

Encontre vereditos com re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) e notas com re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), mantenha as notas de 0 a 10 e pegue o último de cada. Avaliamos só o parser e a rubrica; a chamada ao juiz ao vivo é apenas texto nesta lição e nunca roda nos testes. Clique em Run para interpretar algumas respostas do juiz.

Sua vez

Construa a metade determinística de um harness de LLM-as-judge (o juiz é mockado). Escreva build_rubric(criteria) retornando uma string de prompt que contenha Rubric, numere cada critério de 1 em diante em sua própria linha, e declare o contrato de saída VERDICT: PASS/FAIL + SCORE: <0-10>. Escreva parse_verdict(judge_text) (a pontuação pode ser escrita SCORE: 7, score=7 ou Score 7) retornando {"verdict": "PASS"|"FAIL", "score": int}: insensível a maiúsculas, contando apenas vereditos rotulados (VERDICT: PASS, verdict = fail, verdict - pass) e apenas pontuações de 0 a 10, pegando o ÚLTIMO de cada, e definindo como {"verdict": "FAIL", "score": 0} quando nenhum estiver presente.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.