Temario Lección 194 de 250 · IA responsable: seguridad, moderación y red-teaming
IA responsable: seguridad, moderación y red-teaming

Calibrar los rechazos: rechazar de más frente a rechazar de menos

Bloquear ataques es solo la mitad de la seguridad. La otra mitad es no bloquear de más. Un modelo que rechaza cualquier pregunta un poco picante es seguro e inútil, el equivalente en seguridad de un detector de humo que salta cuando haces una tostada. Necesitas medir los dos modos de fallo sobre el mismo conjunto etiquetado y ajustar la línea entre ellos.

Toma un conjunto de prompts etiquetados cada uno con lo que la aplicación debería hacer: "refuse" (realmente dañino) o "answer" (inofensivo). Tu barrera produce una puntuación de riesgo por prompt, y rechazas cuando la puntuación cruza un umbral. Pueden pasar dos errores:

  • Rechazar de más (un falso positivo): rechazaste un prompt que deberías haber respondido. Molesto, ahuyenta a los usuarios.
  • Rechazar de menos (un falso negativo): respondiste un prompt que deberías haber rechazado. Peligroso, el riesgo que acaba en titulares.

Tratando "refuse" como la clase positiva, las métricas estándar cuentan toda la historia:

precision = TP / (TP + FP)   # of what I refused, how much truly needed refusing
recall    = TP / (TP + FN)   # of the truly-harmful, how much I caught
f1        = 2 * P * R / (P + R)

Una precisión baja significa que rechazas de más (muchos prompts inofensivos entre tus rechazos). Una exhaustividad baja significa que rechazas de menos (se cuelan prompts dañinos). Se compensan al mover el umbral: rechaza de forma agresiva y la exhaustividad sube mientras la precisión baja; rechaza con prudencia y pasa lo contrario. Escribirás refusal_metrics(scores, labels, threshold) y luego best_threshold(scores, labels, candidates), que recorre los umbrales candidatos y devuelve el que tenga el F1 más alto, el único número que no deja que ninguno de los dos errores se desboque.

Dos detalles de corrección que comprueban las pruebas. Rechaza cuando score >= threshold (mayor o igual, así una puntuación justo en la línea rechaza). Y cuando el denominador de una métrica sea cero (no rechazaste nada, así que la precisión no está definida) devuelve 0.0 en lugar de fallar. Tus métricas deben coincidir con precision_score, recall_score y f1_score de scikit-learn con zero_division=0, porque nunca deberías publicar métricas hechas a mano que no coincidan con la biblioteca probada.

Tu turno

Escribe refusal_metrics(scores, labels, threshold), donde labels son "refuse"/"answer" y predices rechazo cuando score >= threshold. Trata "refuse" como positivo y devuelve {"precision", "recall", "f1"}, cada uno redondeado con round a 4 decimales, con 0.0 para cualquier métrica con denominador cero (debe coincidir con sklearn con zero_division=0). Luego escribe best_threshold(scores, labels, candidates), que devuelva el candidato con el F1 más alto (en caso de empate gana el umbral más bajo), y fija best = best_threshold(SCORES, LABELS, CANDIDATES).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.