Temario Lección 198 de 250 · El ML que rodea al LLM
El ML que rodea al LLM

Umbral de confianza y abstención

Un clasificador siempre devuelve una respuesta, incluso cuando no tiene ni idea. Softmax tiene que sumar 1, así que un modelo realmente confundido te sigue dando una etiqueta ganadora -> solo que con una probabilidad baja detrás. En producción eso es peligroso: enrutar mal a un cliente sin avisar es peor que admitir que no estás seguro.

La solución es un umbral de confianza con una opción de abstención. Miras la probabilidad de la etiqueta ganadora; si supera el listón actúas, y si no devuelves un veredicto especial "abstain" que pasa la petición a una persona (o la escala a un modelo más caro). Esta es la barrera de traspaso a una persona que tiene todo sistema de LLM serio.

probs  = [0.80, 0.12, 0.08]      # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"

probs  = [0.40, 0.35, 0.25]      # model is unsure
# top prob 0.40 <  0.6 -> return "abstain"

El umbral es un mando que ajustas con datos: súbelo y te abstendrás más a menudo (más seguro, más trabajo humano); bájalo y actuarás más a menudo (más barato, más arriesgado). El propio límite importa -> decide si una probabilidad exactamente igual al umbral cuenta como confiada. Aquí usamos >= threshold significa confiado (el valor límite pasa).

¿De dónde salen las probabilidades? Normalmente de model.predict_proba(...) del clasificador que construiste antes, o de las puntuaciones de coseno por prototipo normalizadas en una distribución. En cualquier caso, la lógica de la barrera es la misma pequeña función, pura y determinista -> justo el tipo de protección al que puedes hacer pruebas unitarias.

Construye una función. classify_with_threshold(probs, labels, threshold): encuentra la etiqueta con la probabilidad más alta; si esa probabilidad es >= threshold devuelve la etiqueta, y si no devuelve la cadena "abstain". probs y labels son listas alineadas. Pulsa Ejecutar para ver cómo pasa un caso confiado y cómo se abstiene uno dudoso.

Tu turno

Escribe classify_with_threshold(probs, labels, threshold), donde probs y labels son listas alineadas. Devuelve la etiqueta cuya probabilidad sea la más alta, pero solo si esa probabilidad es >= threshold; si no, devuelve la cadena "abstain". Trata una probabilidad exactamente igual al umbral como confiada.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.