Temario Lección 166 de 250 · Evaluaciones y pruebas de LLM
Evaluaciones y pruebas de LLM

Evaluaciones basadas en aserciones (coincidencia exacta y contiene)

Cambiaste el prompt y la salida "parece mejor". Esa sensación no es un resultado. El trabajo de una evaluación es sustituirla por un número que puedas poner en una pull request: este prompt puntúa 0.86 en el conjunto de referencia, el anterior puntuaba 0.74. Antes de recurrir a nada sofisticado, la evaluación de batalla es la más barata: toma un conjunto etiquetado de entradas con respuestas correctas conocidas, ejecuta tu sistema y cuenta cuántas acertó.

La pega es decidir qué significa "acertar". Un LLM casi nunca devuelve la cadena de referencia byte a byte. Añade un punto, pone una palabra en mayúscula, envuelve la respuesta en una frase. Así que eliges un modo de coincidencia:

  • exact -> la predicción es igual a la respuesta de referencia después de normalizar (minúsculas, quitar los espacios de alrededor). Úsalo para respuestas cortas y cerradas: una etiqueta, un sí o no, una ciudad.
  • contains -> la respuesta de referencia aparece en algún lugar dentro de la predicción. Úsalo cuando al modelo se le permite ser charlatán: "The capital is Paris." debe seguir contando como correcta para la referencia paris.

Normalizar importa. Sin ello, "Paris" y "paris" cuentan como fallo y tu evaluación te miente. Así es una comparación:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)

La exactitud es entonces simplemente la media de esas puntuaciones por ejemplo. En un banco de pruebas real, las predictions vienen de una llamada a un modelo en vivo; aquí se evalúan las matemáticas de la puntuación, que es la parte que tiene que ser exactamente correcta. Hay dos comprobaciones más en todo banco de pruebas atento a la seguridad: una lista de permitidos (cada salida debe ser una de un conjunto fijo de etiquetas) y un barrido de patrones prohibidos (ninguna salida puede contener una frase vetada como "as an AI").

Qué construir.

  • evaluate(predictions, gold, mode) -> la puntuación media de coincidencia exacta o de contención sobre dos listas paralelas, redondeada con round a 4 decimales. Una lista vacía devuelve 0.0, nunca un fallo. Lanza ValueError ante un modo desconocido.
  • label_in_set(outputs, allowed) -> {"passed", "failed"}, contando cuántas salidas, sin espacios alrededor, están en el conjunto allowed.
  • has_forbidden(text, patterns) -> True si alguna regex de patterns se encuentra en text.

Pulsa Ejecutar para puntuar un conjunto de referencia con los dos modos.

Tu turno

Escribe evaluate(predictions, gold, mode), que devuelva la puntuación media sobre dos listas paralelas, donde mode es 'exact' (igualdad normalizada) o 'contains' (la referencia aparece dentro de la predicción); normaliza con strip().lower(), redondea con round la exactitud a 4 decimales, devuelve 0.0 con un conjunto vacío y lanza ValueError ante un modo desconocido. Escribe también label_in_set(outputs, allowed) -> {'passed', 'failed'}, que cuente las salidas sin espacios alrededor frente al conjunto allowed, y has_forbidden(text, patterns) -> True si algún patrón regex se encuentra en text, sin distinguir mayúsculas (así as an ai también detecta "As an AI").

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.