La barrera contra regresiones
Este es el final, y la línea de tu currículum: construí un banco de evaluación de prompts + una barrera contra regresiones. Tienes puntuadores (lección 1) y un analizador del juez (lección 2). Ahora conectas la pieza que lo convierte en CI: una barrera que se ejecuta en cada cambio de prompt y bloquea la fusión si la calidad bajó. Es lo que impide que el "pequeño retoque" de un compañero hunda sin avisar la exactitud en producción -> el revisor automático que nunca se cansa.
El modelo: tienes un conjunto de referencia y dos versiones de un prompt, cada una produciendo una lista de predicciones sobre ese conjunto. Aquí la exactitud es simplemente la fracción de predicciones que coinciden exactamente con la respuesta de referencia (sin espacios alrededor). Primero, compara las dos:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}, donde cada exactitud es la tasa de coincidencia exacta frente agoldsydeltaes cuánto se movió v2 respecto a v1. Un delta positivo significa que la candidata mejoró; negativo, que empeoró.
Luego, la propia barrera. En CI no se bloquea por ruido -> un umbral min_delta permite que una candidata baje una cantidad mínima tolerada (a menudo 0.0, que significa "no debe empeorar") antes de rechazarla:
gate(baseline, candidate, min_delta)->baselineycandidateson cada uno un par(preds, golds). Puntúa los dos como exactitud de coincidencia exacta, calculadelta = candidate_acc - baseline_accy devuelve{"pass": bool, "delta": delta, "report": str}. La barrera pasa cuandodelta >= min_deltay falla en otro caso.
El report es una línea legible que ve el desarrollador en el registro de la CI. Haz que indique el resultado y los números, por ejemplo "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" o una variante FAIL: .... Las pruebas comprueban que el informe empiece por PASS o FAIL según el booleano y que mencione las dos exactitudes, así que la redacción exacta es cosa tuya, pero los datos deben estar.
En concreto: una referencia con 0.8 y una candidata con 0.6 con min_delta=0.0 -> delta -0.2, la barrera falla y la fusión queda bloqueada. Intercámbialas y la candidata mejora -> la barrera pasa. Ese único booleano es lo que conectas a la CI para convertir "el prompt parece mejor" en "el prompt demostrablemente no es peor, o la compilación sale en rojo". Pulsa Ejecutar para pasar por la barrera una mejora y una regresión.
Construye la barrera de CI contra regresiones. Escribe compare(v1_preds, v2_preds, golds), que devuelva {"v1", "v2", "delta"}, donde cada valor es la exactitud de coincidencia exacta (fracción de predicciones iguales a la referencia sin espacios alrededor) y delta = v2 - v1. Escribe gate(baseline, candidate, min_delta), que reciba dos pares (preds, golds) y devuelva {"pass": bool, "delta": float, "report": str}, pasando si y solo si delta >= min_delta. El informe debe empezar por PASS/FAIL (según el booleano) y mencionar las dos exactitudes, cada una escrita con tres decimales ("%.3f", así 0.5 aparece como 0.500). Una regresión debe hacer fallar la barrera; una mejora debe pasarla.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.