Temario Lección 170 de 250 · Evaluaciones y pruebas de LLM
Evaluaciones y pruebas de LLM

Una barrera contra regresiones del prompt

Tienes puntuadores (coincidencia exacta, F1, un LLM juez). La última pieza los convierte en una barrera: una decisión de sí o no que tu CI ejecuta en cada cambio de prompt para que un "pequeño retoque" nunca pueda empeorar las cosas en silencio. Esta es la diferencia entre medir la calidad y defenderla.

("Regresión" aquí significa un cambio a peor, el sentido cotidiano en software, no la técnica de modelado del módulo de ML.)

Comparas dos ejecuciones sobre el MISMO conjunto de evaluación: la línea base (el prompt en producción) y la candidata (tu cambio), como dos listas de puntuaciones por ejemplo en [0, 1]. La barrera bloquea el cambio salvo que supere tres listones:

  • Ninguna bajada global: la puntuación media de la candidata es al menos la media de la línea base (una tolerancia mínima absorbe el ruido).
  • Pocos fallos nuevos: el número de ejemplos en los que la candidata puntuó peor que la línea base se queda dentro de un presupuesto (una gran mejora no debe esconder varias regresiones silenciosas).
  • Un suelo: una media mínima absoluta, si fijas una.

Construye regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None), que devuelva un dict de informe con baseline_mean, candidate_mean, delta (candidata menos línea base), regressions (número de índices donde candidate[i] < baseline[i] - 1e-9) y passed (un bool, True solo cuando se superan TODOS los listones). Las dos listas tienen la misma longitud. Pulsa Ejecutar para pasar un prompt candidato por la barrera.

Tu turno

Escribe regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) sobre dos listas de igual longitud de puntuaciones por ejemplo. Devuelve {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"}, donde delta = candidate_mean - baseline_mean, regressions cuenta los índices con candidate[i] < baseline[i] - 1e-9, y passed es True solo cuando candidate_mean >= baseline_mean - tol Y regressions <= max_regressions Y (min_mean is None o candidate_mean >= min_mean).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.