Umbral de confianza y abstención
Un clasificador siempre devuelve una respuesta, incluso cuando no tiene ni idea. Softmax tiene que sumar 1, así que un modelo realmente confundido te sigue dando una etiqueta ganadora -> solo que con una probabilidad baja detrás. En producción eso es peligroso: enrutar mal a un cliente sin avisar es peor que admitir que no estás seguro.
La solución es un umbral de confianza con una opción de abstención. Miras la probabilidad de la etiqueta ganadora; si supera el listón actúas, y si no devuelves un veredicto especial "abstain" que pasa la petición a una persona (o la escala a un modelo más caro). Esta es la barrera de traspaso a una persona que tiene todo sistema de LLM serio.
probs = [0.80, 0.12, 0.08] # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"
probs = [0.40, 0.35, 0.25] # model is unsure
# top prob 0.40 < 0.6 -> return "abstain"El umbral es un mando que ajustas con datos: súbelo y te abstendrás más a menudo (más seguro, más trabajo humano); bájalo y actuarás más a menudo (más barato, más arriesgado). El propio límite importa -> decide si una probabilidad exactamente igual al umbral cuenta como confiada. Aquí usamos >= threshold significa confiado (el valor límite pasa).
¿De dónde salen las probabilidades? Normalmente de model.predict_proba(...) del clasificador que construiste antes, o de las puntuaciones de coseno por prototipo normalizadas en una distribución. En cualquier caso, la lógica de la barrera es la misma pequeña función, pura y determinista -> justo el tipo de protección al que puedes hacer pruebas unitarias.
Construye una función. classify_with_threshold(probs, labels, threshold): encuentra la etiqueta con la probabilidad más alta; si esa probabilidad es >= threshold devuelve la etiqueta, y si no devuelve la cadena "abstain". probs y labels son listas alineadas. Pulsa Ejecutar para ver cómo pasa un caso confiado y cómo se abstiene uno dudoso.
Escribe classify_with_threshold(probs, labels, threshold), donde probs y labels son listas alineadas. Devuelve la etiqueta cuya probabilidad sea la más alta, pero solo si esa probabilidad es >= threshold; si no, devuelve la cadena "abstain". Trata una probabilidad exactamente igual al umbral como confiada.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.