LLM como juez: rúbrica + análisis del veredicto
La coincidencia exacta y el F1 por tokens se vienen abajo en cuanto las respuestas se vuelven abiertas. "Resume este ticket" tiene mil respuestas buenas y ninguna cadena de referencia única. El recurso de la industria es el LLM como juez: le pides a un segundo modelo que lea la respuesta frente a una rúbrica y devuelva un veredicto. Así evalúan exactamente los equipos los chatbots, las respuestas de RAG y las transcripciones de agentes a gran escala.
Esta es la realidad de ingeniería, y lo que tantea quien contrata: el juez es un modelo de lenguaje, así que su respuesta es texto libre desordenado. Puede decir VERDICT: PASS en una ejecución y Final verdict - fail en la siguiente, a veces con un párrafo de razonamiento antes. La parte frágil de cualquier banco con juez no es el prompt, es el analizador que saca un resultado limpio y utilizable por máquina de ese texto. Así que en esta lección el juez está simulado (sin modelo en vivo, sin red) y construyes las dos piezas deterministas que lo rodean: el prompt de la rúbrica y el analizador del veredicto.
Construye el prompt de la rúbrica. build_rubric(criteria) recibe una lista de cadenas de criterios y devuelve una sola cadena de prompt para el juez. Debe:
- contener la palabra
Rubricpara que el juez sepa cuál es la tarea, - listar cada criterio en su propia línea, numerado desde 1 (
1. accuracy,2. clarity, ...), - y terminar diciéndole al juez el contrato exacto de salida: una línea
VERDICT: PASSoVERDICT: FAILy una líneaSCORE: <0-10>. (Estás definiendo el formato que leerá tu propio analizador.)
Construye el analizador. parse_verdict(judge_text) recorre la respuesta en bruto del juez y devuelve {"verdict": "PASS" or "FAIL", "score": int}. Las reglas de robustez que te impone la salida real de un juez:
- No distingas mayúsculas:
pass,PASSyPasssignifican PASS. - Solo cuenta un veredicto etiquetado:
VERDICT: PASS,verdict = fail,verdict - pass. Un "pass" suelto en el razonamiento no es una decisión: "VERDICT: FAIL. The fix would make it pass." es un FAIL, y "this does not pass" nunca debe contar como PASS. Cuando el juez escribe varios veredictos etiquetados (cambió de opinión), gana el último. - Una puntuación debe ser un número entero de 0 a 10, el rango que pidió tu rúbrica. Ignora todo lo que quede fuera ("SCORE: 85" es el juez rompiendo el contrato, no una respuesta estupenda). De las puntuaciones válidas, gana la última.
- Devuelve un valor por defecto seguro cuando no encuentres nada válido: veredicto
"FAIL"y puntuación0. Una respuesta del juez que no se puede analizar nunca debe contar en silencio como aprobado.
Encuentra los veredictos con re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) y las puntuaciones con re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I), quédate con las puntuaciones de 0 a 10 y toma la última de cada. Solo evaluamos el analizador y la rúbrica; la llamada en vivo al juez es solo texto en esta lección, nunca se ejecuta en las pruebas. Pulsa Ejecutar para analizar unas cuantas respuestas del juez.
Construye la mitad determinista de un banco de LLM como juez (el juez está simulado). Escribe build_rubric(criteria), que devuelva una cadena de prompt que contenga Rubric, numere cada criterio desde 1 en su propia línea y enuncie el contrato de salida VERDICT: PASS/FAIL + SCORE: <0-10>. Escribe parse_verdict(judge_text) (la puntuación puede escribirse SCORE: 7, score=7 o Score 7), que devuelva {"verdict": "PASS"|"FAIL", "score": int}: sin distinguir mayúsculas, contando solo los veredictos etiquetados (VERDICT: PASS, verdict = fail, verdict - pass) y solo las puntuaciones de 0 a 10, tomando la ÚLTIMA de cada, y con el valor por defecto {"verdict": "FAIL", "score": 0} cuando no haya ninguna.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.