LLM-as-Judge: Parse de Rubrica + Veredito
Exact-match e token-F1 deixam de funcionar no momento em que as respostas ficam abertas. "Resuma este ticket" tem mil respostas boas e nenhuma string de referência única. A solução que a indústria adotou é o LLM-as-judge: você pede a um segundo modelo que leia a resposta com base em uma rubrica e devolva um veredito. É exatamente assim que equipes avaliam chatbots, respostas de RAG e transcrições de agentes em escala.
Esta é a realidade de engenharia, e o que um gerente de contratação investiga: o juiz é um modelo de linguagem, então a resposta dele é texto livre e bagunçado. Ele pode dizer VERDICT: PASS em uma execução e Final verdict - fail na seguinte, às vezes com um parágrafo de raciocínio antes. A parte frágil de qualquer estrutura de juiz não é o prompt, é o parser que extrai desse texto um resultado limpo e utilizável por máquina. Por isso, nesta lição o juiz é simulado (sem modelo ao vivo, sem rede) e você constrói as duas peças determinísticas em volta dele: o prompt da rubrica e o parser do veredito.
Monte o prompt da rubrica. build_rubric(criteria) recebe uma lista de strings de critérios e retorna uma única string de prompt para o juiz. Ela precisa:
- conter a palavra
Rubricpara que o juiz saiba a tarefa, - listar cada critério em sua própria linha, numerado a partir de 1 (
1. accuracy,2. clarity, ...), - e terminar dizendo ao juiz o contrato exato de saída: uma linha
VERDICT: PASSouVERDICT: FAILe uma linhaSCORE: <0-10>. (Você está definindo o formato que seu próprio parser vai ler.)
Monte o parser. parse_verdict(judge_text) percorre a resposta bruta do juiz e retorna {"verdict": "PASS" or "FAIL", "score": int}. Regras de robustez que a saída real de um juiz impõe:
- Não diferencie maiúsculas e minúsculas:
pass,PASSePasssignificam PASS. - Só conta um veredito rotulado:
VERDICT: PASS,verdict = fail,verdict - pass. Um "pass" solto no raciocínio não é uma decisão: "VERDICT: FAIL. The fix would make it pass." é FAIL, e "this does not pass" nunca pode contar como PASS. Quando o juiz escreve vários vereditos rotulados (ele mudou de ideia), vale o último. - Uma nota precisa ser um número inteiro de 0 a 10, o intervalo que sua rubrica pediu. Ignore qualquer coisa fora disso ("SCORE: 85" é o juiz quebrando o contrato, não uma resposta ótima). Entre as notas válidas, vale a última.
- Retorne um padrão seguro quando nada válido for encontrado: veredito
"FAIL"e nota0. Uma resposta do juiz que não dá para interpretar nunca pode contar silenciosamente como aprovação.
Encontre vereditos com re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) e notas com re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), mantenha as notas de 0 a 10 e pegue o último de cada. Avaliamos só o parser e a rubrica; a chamada ao juiz ao vivo é apenas texto nesta lição e nunca roda nos testes. Clique em Run para interpretar algumas respostas do juiz.
Construa a metade determinística de um harness de LLM-as-judge (o juiz é mockado). Escreva build_rubric(criteria) retornando uma string de prompt que contenha Rubric, numere cada critério de 1 em diante em sua própria linha, e declare o contrato de saída VERDICT: PASS/FAIL + SCORE: <0-10>. Escreva parse_verdict(judge_text) (a pontuação pode ser escrita SCORE: 7, score=7 ou Score 7) retornando {"verdict": "PASS"|"FAIL", "score": int}: insensível a maiúsculas, contando apenas vereditos rotulados (VERDICT: PASS, verdict = fail, verdict - pass) e apenas pontuações de 0 a 10, pegando o ÚLTIMO de cada, e definindo como {"verdict": "FAIL", "score": 0} quando nenhum estiver presente.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.