Temario Lección 196 de 250 · El ML que rodea al LLM
El ML que rodea al LLM

Clasificación de intenciones (TF-IDF + LogisticRegression)

No toda "función de IA" necesita un gran modelo de lenguaje. Una enorme proporción de las aplicaciones de LLM en producción ponen un clasificador diminuto y aburrido delante del modelo: lee el mensaje entrante, decide qué tipo de petición es (¿facturación? ¿un informe de error? ¿un cambio de cuenta?) y enruta según eso. Esa decisión es rápida, gratuita, funciona sin conexión y es determinista -> la misma entrada siempre da la misma respuesta. Solo gastas una llamada cara al LLM cuando de verdad la necesitas.

El caballo de batalla para textos cortos es TfidfVectorizer + LogisticRegression. TF-IDF convierte cada mensaje en un vector disperso de recuentos de palabras ponderados; la regresión logística aprende una frontera lineal entre las clases de intención. Con unas pocas docenas de ejemplos etiquetados se entrena en milisegundos y clasifica en microsegundos.

Unirás los dos en un solo objeto con un Pipeline para que el vectorizador y el clasificador se ajusten y se apliquen juntos como una unidad:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline

pipe = Pipeline([
    ("tfidf", TfidfVectorizer()),
    ("clf", LogisticRegression(random_state=0, max_iter=1000)),
])
pipe.fit(texts, labels)
pipe.predict(["can I get a refund"])   # -> array(['billing'])

¿Por qué random_state=0? Es un hábito que merece la pena tener. El solver por defecto aquí (lbfgs) es determinista, así que esta canalización da los mismos pesos con o sin semilla. Pero otros solvers (saga, liblinear) barajan los datos, y muchos modelos de scikit-learn (bosques aleatorios, k-means, divisiones de entrenamiento y prueba) son aleatorios por diseño; ahí la semilla es lo que hace reproducible el entrenamiento. Escribirla siempre significa que un cambio posterior de solver o de modelo no puede hacer que tu enrutamiento cambie en silencio entre ejecuciones. El curso sigue esta regla en todas partes.

Este es exactamente el contraste con el LLM. Una llamada al modelo no es determinista, cuesta dinero y añade latencia. Este es el tipo de respaldo que podrías conectar después, una vez conocida la intención (se muestra como contexto, nunca se evalúa):

# Pseudocode: only AFTER the cheap classifier is unsure do you reach for the model.
intent = pipe.predict([msg])[0]
if intent == "general":
    reply = await window._floatiTutor.complete(msg)   # the on-device LLM

Construye dos funciones. train_classifier(texts, labels) devuelve un Pipeline ajustado (TF-IDF + LogisticRegression con random_state=0). predict(model, new_texts) recibe ese modelo y una lista de cadenas y devuelve una lista de etiquetas predichas. Pulsa Ejecutar para entrenar con un pequeño conjunto de tickets de soporte y ver cómo enruta mensajes reservados al equipo correcto.

Tu turno

Escribe train_classifier(texts, labels), que devuelva un Pipeline de sklearn ajustado con TfidfVectorizer() y luego LogisticRegression(random_state=0, ...), y predict(model, new_texts), que devuelva una lista de etiquetas predichas para una lista de cadenas de entrada. La semilla lo hace reproducible; el clasificador debe enviar distintos mensajes reservados a sus intenciones correctas. Deja TEXTS y LABELS del código inicial como están: la comprobación los lee.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.