LLM-as-Judge (Construção de Rubrica + Parse de Veredito)
Exact-match, F1 e ROUGE precisam de uma resposta de referência para comparar. Mas, para saídas abertas, "essa explicação ficou clara?", "o tom foi profissional?", não existe uma única string certa. A resposta escalável que a indústria adotou é o LLM-as-judge: você dá a um segundo modelo a resposta mais uma rubrica e pede que ele pontue cada critério. Com uma rubrica bem especificada, ele muitas vezes chega a 80-90% de concordância com avaliadores humanos, mas isso varia muito conforme a tarefa e pode cair bastante em casos sutis ou adversariais, então trate qualquer número isolado como específico da tarefa, e não como uma lei. Mesmo assim, ele costuma ser consistente o bastante para rodar em milhares de saídas toda noite, desde que você o confira de tempos em tempos contra rótulos humanos.
Esta é a parte honesta, e o motivo de esta lição poder ser avaliada. A pontuação de fato do juiz é uma chamada ao modelo, e chamadas ao modelo não são determinísticas, então nunca as avaliamos. O que você constrói, e o que é avaliado, é a estrutura determinística em volta da chamada: montar o prompt do juiz e interpretar o veredito de volta. Em produção, a etapa do meio é uma chamada real:
# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)O WebLLM no dispositivo deste curso pode fazer o papel de juiz ao vivo no navegador, mas os testes nunca dependem dele. Eles verificam o prompt que você monta e o parser que você escreve.
O prompt precisa amarrar o juiz: diga o papel, liste os critérios da rubrica numerados, mostre a resposta e exija um veredito legível por máquina para que você possa interpretá-lo. O truque padrão é forçar uma linha por critério em um formato fixo, aqui score: N/5:
You are a strict grader. Score the answer against the rubric.
RUBRIC:
1. Is it factually correct?
2. Is it concise?
ANSWER:
<the answer text>
For each rubric item, reply on its own line as 'score: N/5'.Interpretar vira então uma varredura com regex por cada linha score: N/5 (sem diferenciar maiúsculas e minúsculas), tirando os inteiros. A agregação transforma uma lista de notas em uma média e uma taxa de aprovação: a fração de notas iguais ou acima de um limite. A taxa de aprovação é o que gera alertas; uma única resposta ruim em um lote é ruído, uma taxa de aprovação caindo é uma regressão.
O que construir.
build_judge_prompt(answer, rubric)-> uma string de prompt contendo cada item numerado da rubrica, a resposta e uma instruçãoscore: N/5.parse_judge_scores(text)-> a lista de inteiros de cada linhascore: N/5, em ordem, sem diferenciar maiúsculas e minúsculas.aggregate(scores, threshold=3)->{"mean", "pass_rate"}(ambos comroundpara 4 casas); uma lista vazia retorna zeros.
Clique em Run para montar um prompt de juiz, interpretar um veredito de exemplo e agregar.
Escreva build_judge_prompt(answer, rubric) retornando uma string de prompt que contém cada item numerado da rubrica, o texto da resposta e uma diretiva para responder score: N/5 por item. Escreva parse_judge_scores(text) retornando a lista de inteiros de cada linha score: N/5 em ordem (sem diferenciar maiúsculas de minúsculas). Escreva aggregate(scores, threshold=3) retornando {'mean', 'pass_rate'} arredondado para 4 casas decimais, onde pass_rate é a fração de scores >= threshold e uma lista vazia retorna zeros.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.