Clasificador de intenciones con abstención
Bienvenido a tu proyecto final. A lo largo de cuatro lecciones entregas la capa que se sitúa entre tus usuarios y el modelo: una pasarela de IA que clasifica lo que quiere una petición, la enruta al gestor adecuado, guarda respuestas en caché, protege contra abusos y contabiliza cada dólar. Es la infraestructura poco glamurosa que convierte una demo ingeniosa en algo que una empresa puede ejecutar de verdad, y es exactamente lo que quiere decir quien contrata cuando una línea del currículum dice "construí una pasarela de IA: clasificar, enrutar, caché, barreras y contabilidad de costes".
Una nota honesta sobre el alcance: estás construyendo la lógica de la capa de aplicación de una pasarela (clasificar, enrutar, caché semántica, barreras, contabilidad de costes). Una pasarela que ejecutarías de verdad en producción también necesita un servicio en marcha que la aloje, autenticación, una limitación de tasa distribuida real y un despliegue, cosas que quedan fuera de este proyecto final en el navegador.
Primera parada: la puerta de entrada. Cada petición que llega es un bloque de texto, y antes de poder hacer nada inteligente con ella necesitas saber qué es. ¿Es una pregunta sobre el tiempo? ¿Un problema con la cuenta? ¿Una queja de facturación? Construirás un clasificador de intenciones que aprende de un puñado de ejemplos etiquetados y etiqueta cada petición nueva. La pega que separa un juguete de un clasificador real: debe saber cuándo no sabe. Un modelo que etiqueta con seguridad un galimatías es peor que inútil más adelante, así que el tuyo se abstendrá y devolverá "unknown" cuando no esté seguro.
Escribirás dos funciones:
train_intent(texts, labels)-> ajusta unTfidfVectorizerpara convertir los textos en vectores, y luego unaLogisticRegression(random_state=0)encima. Devuelve el paquete (un dict sirve) que necesiteclassifypara predecir. Da semilla al modelo para que todo el mundo obtenga resultados idénticos.classify(model, text)-> devuelve una tupla(label, confidence). Obtén las probabilidades de las clases conpredict_proba, toma la más alta y, si su confianza está por debajo de un umbral (en torno a0.5), devuelve("unknown", confidence)en su lugar.
El truco para atrapar la entrada realmente fuera de distribución es barato y robusto. Cuando TfidfVectorizer.transform ve un texto sin nada del vocabulario de entrenamiento, la fila resultante es toda ceros (su .nnz es 0). Esa es tu señal de que el modelo no tiene nada en que basarse, así que abstente de inmediato:
X = vec.transform([text])
if X.nnz == 0:
return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)Una nota del mundo real sobre el modelo: con conjuntos de entrenamiento diminutos, la regularización por defecto hace que todas las probabilidades ronden el azar, así que las preguntas legítimas nunca superan el umbral. Relajar la regularización con C=10.0 (y subir max_iter para que converja) afina el modelo lo suficiente como para que las paráfrasis reales puntúen con confianza mientras la basura sigue absteniéndose. Pulsa Ejecutar para entrenar con unas cuantas preguntas de soporte etiquetadas y ver cómo se clasifican las paráfrasis mientras el galimatías se queda atrás.
Escribe train_intent(texts, labels) usando TfidfVectorizer + LogisticRegression(random_state=0) (relájala con C=10.0 y sube max_iter para que converja con pocos datos), devolviendo el paquete que necesite classify. Luego escribe classify(model, text), que devuelva (label, confidence): toma la clase más alta de predict_proba, abstente con ("unknown", conf) por debajo de un umbral de ~0.5, y abstente de inmediato cuando la fila transformada sea toda ceros (X.nnz == 0), para que la entrada fuera de distribución o vacía no se pueda etiquetar.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.