Temario Lección 169 de 250 · Evaluaciones y pruebas de LLM
Evaluaciones y pruebas de LLM

LLM como juez (construir la rúbrica y analizar el veredicto)

La coincidencia exacta, el F1 y ROUGE necesitan todos una respuesta de referencia con la que comparar. Pero para salidas abiertas, "¿era clara esta explicación?", "¿era profesional el tono?", no hay una única cadena correcta. La respuesta escalable en la que se asentó la industria es el LLM como juez: le das a un segundo modelo la respuesta más una rúbrica y le pides que puntúe cada criterio. Con una rúbrica bien especificada suele llegar a un 80-90% de acuerdo con evaluadores humanos, pero esto varía mucho según la tarea y puede caer en picado en casos sutiles o adversarios, así que trata cualquier cifra suelta como propia de la tarea y no como una ley. Aun así, suele ser lo bastante coherente como para ejecutarlo cada noche sobre miles de salidas, siempre que lo compruebes de vez en cuando contra etiquetas humanas.

Esta es la parte honesta, y la razón por la que esta lección se puede evaluar. La puntuación real del juez es una llamada a un modelo, y las llamadas a modelos no son deterministas, así que nunca las evaluamos. Lo que diseñas, y lo que se evalúa, es el andamiaje determinista alrededor de la llamada: construir el prompt del juez y analizar el veredicto de vuelta. En producción, el paso intermedio es una llamada real:

# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)

El WebLLM del dispositivo de este curso puede hacer de juez en directo en el navegador, pero las pruebas nunca dependen de él. Comprueban el prompt que construyes y el analizador que escribes.

El prompt tiene que atar en corto al juez: indicar el papel, listar los criterios de la rúbrica numerados, mostrar la respuesta y exigir un veredicto legible por máquina para poder analizarlo. El truco estándar es forzar una línea por criterio con una forma fija, aquí score: N/5:

You are a strict grader. Score the answer against the rubric.

RUBRIC:
1. Is it factually correct?
2. Is it concise?

ANSWER:
<the answer text>

For each rubric item, reply on its own line as 'score: N/5'.

Analizar es entonces un barrido con regex de cada línea score: N/5 (sin distinguir mayúsculas), sacando los enteros. La agregación convierte una lista de puntuaciones en una media y una tasa de aprobados: la fracción de puntuaciones iguales o superiores a un umbral. La tasa de aprobados es sobre lo que alertas; una sola respuesta mala en un lote es ruido, una tasa de aprobados que va bajando es una regresión.

Qué construir.

  • build_judge_prompt(answer, rubric) -> una cadena de prompt que contenga cada elemento numerado de la rúbrica, la respuesta y una directiva score: N/5.
  • parse_judge_scores(text) -> la lista de enteros de cada línea score: N/5, en orden, sin distinguir mayúsculas.
  • aggregate(scores, threshold=3) -> {"mean", "pass_rate"} (ambos redondeados con round a 4 decimales); una lista vacía devuelve ceros.

Pulsa Ejecutar para construir un prompt de juez, analizar un veredicto de ejemplo y agregar.

Tu turno

Escribe build_judge_prompt(answer, rubric), que devuelva una cadena de prompt que contenga cada elemento numerado de la rúbrica, el texto de la respuesta y una directiva para responder score: N/5 por elemento. Escribe parse_judge_scores(text), que devuelva la lista de enteros de cada línea score: N/5 en orden (sin distinguir mayúsculas). Escribe aggregate(scores, threshold=3), que devuelva {'mean', 'pass_rate'} redondeados a 4 decimales, donde pass_rate es la fracción de puntuaciones >= threshold y una lista vacía devuelve ceros.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.