Programme Leçon 196 sur 250 · Le ML autour du LLM
Le ML autour du LLM

Classification d'intention (TF-IDF + LogisticRegression)

Toutes les « fonctions IA » n'ont pas besoin d'un grand modèle de langage. Une énorme part des applis LLM en production placent un petit classifieur tout simple devant le modèle : il lit le message entrant, décide de quel type de demande il s'agit (facturation ? un rapport de bug ? un changement de compte ?), et route en conséquence. Cette décision est rapide, gratuite, marche hors ligne, et elle est déterministe -> la même entrée donne toujours la même réponse. Tu ne dépenses un appel LLM coûteux que quand tu en as vraiment besoin.

Le cheval de trait pour les textes courts, c'est TfidfVectorizer + LogisticRegression. TF-IDF transforme chaque message en vecteur creux de comptes de mots pondérés ; la régression logistique apprend une frontière linéaire entre les classes d'intention. Sur quelques dizaines d'exemples étiquetés, elle s'entraîne en millisecondes et classe en microsecondes.

Tu vas relier les deux en un seul objet avec un Pipeline, pour que le vectoriseur et le classifieur soient ajustés et appliqués ensemble, comme un tout :

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline

pipe = Pipeline([
    ("tfidf", TfidfVectorizer()),
    ("clf", LogisticRegression(random_state=0, max_iter=1000)),
])
pipe.fit(texts, labels)
pipe.predict(["can I get a refund"])   # -> array(['billing'])

Pourquoi random_state=0 ? C'est une bonne habitude. Le solveur par défaut ici (lbfgs) est déterministe, donc ce pipeline donne les mêmes poids avec ou sans graine. Mais d'autres solveurs (saga, liblinear) mélangent les données, et beaucoup de modèles scikit-learn (forêts aléatoires, k-means, découpages train/test) sont aléatoires par conception ; là, c'est la graine qui rend l'entraînement reproductible. L'écrire partout veut dire qu'un futur changement de solveur ou de modèle ne pourra pas faire basculer ton routage d'un passage à l'autre en douce. Le cours suit cette règle partout.

C'est exactement le contraste avec le LLM. Un appel au modèle n'est pas déterministe, coûte de l'argent et ajoute de la latence. Voici le genre de solution de repli que tu pourrais brancher en aval une fois l'intention connue (montré pour le contexte, jamais noté) :

# Pseudocode: only AFTER the cheap classifier is unsure do you reach for the model.
intent = pipe.predict([msg])[0]
if intent == "general":
    reply = await window._floatiTutor.complete(msg)   # the on-device LLM

Construis deux fonctions. train_classifier(texts, labels) renvoie un Pipeline ajusté (TF-IDF + LogisticRegression avec random_state=0). predict(model, new_texts) prend ce modèle et une liste de chaînes et renvoie une liste d'étiquettes prédites. Appuie sur Run pour entraîner sur un petit jeu de tickets de support et le voir router des messages mis de côté vers la bonne équipe.

À ton tour

Écris train_classifier(texts, labels) qui renvoie un Pipeline sklearn ajusté de TfidfVectorizer() puis LogisticRegression(random_state=0, ...), et predict(model, new_texts) qui renvoie une liste d'étiquettes prédites pour une liste de chaînes en entrée. La graine le rend reproductible ; le classifieur doit envoyer des messages mis de côté distincts vers leurs bonnes intentions. Garde TEXTS et LABELS du code de départ tels quels : la vérification les lit.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.