Programme Leçon 225 sur 250 · Projet : Production AI Gateway
Projet : Production AI Gateway

Classificateur d'intention avec Abstain

Bienvenue dans ton projet final. Sur quatre leçons, tu déploies la couche qui se trouve entre tes utilisateurs et le modèle : une AI gateway qui classifie ce qu'une requête veut, la dirige vers le bon gestionnaire, met en cache les réponses, protège contre les abus et comptabilise chaque dollar. C'est l'infrastructure sans éclat qui transforme une démo intelligente en quelque chose qu'une entreprise peut réellement faire tourner, et c'est exactement ce qu'un responsable du recrutement veut dire quand une ligne de CV indique "built an AI gateway: classify, route, cache, guardrail, cost-account."

Une note honnête sur la portée : tu construis la logic de la couche application d'une gateway (classify, route, semantic-cache, guardrail, cost-account). Une gateway que tu lancerais réellement en production a aussi besoin d'un service actif pour l'héberger, d'une authentification, d'un vrai rate-limiting distribué et d'un déploiement, ce qui dépasse ce projet final dans le navigateur.

Première étape : la porte d'entrée. Chaque requête qui arrive est un bloc de texte, et avant de pouvoir faire quoi que ce soit d'intelligent avec, tu dois savoir ce qu'elle est. Est-ce une question sur la météo ? Un problème de compte ? Une plainte de facturation ? Tu vas construire un intent classifier qui apprend à partir d'une poignée d'exemples étiquetés et qui marque chaque nouvelle requête. Le piège qui sépare un jouet d'un vrai classifieur : il doit savoir quand il ne sait pas. Un modèle qui étiquette avec assurance du charabia est pire que inutile en aval, donc le tien va s'abstenir et retourner "unknown" quand il n'est pas sûr.

Tu vas écrire deux fonctions :

  • train_intent(texts, labels) -> ajuste un TfidfVectorizer pour transformer les textes en vecteurs, puis un LogisticRegression(random_state=0) par-dessus. Retourne n'importe quel bundle (un dictionnaire convient) que classify a besoin pour faire des prédictions. Initialise le modèle pour que tout le monde obtienne des résultats identiques.
  • classify(model, text) -> retourne un tuple (label, confidence). Récupère les probabilités de classe avec predict_proba, prends la première, et si sa confiance est en dessous d'un seuil (environ 0.5), retourne ("unknown", confidence) à la place.

L'astuce pour détecter une entrée vraiment hors distribution est simple et robuste. Quand TfidfVectorizer.transformvoit du texte avec aucun du vocabulaire d'entraînement, la ligne résultante est toute à zéro (son .nnz est 0). C'est ton signal que le modèle n'a rien sur quoi se baser, alors abstiens-toi immédiatement :

X = vec.transform([text])
if X.nnz == 0:
    return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)

Une note réelle sur le modèle : sur de petits ensembles d'entraînement, la régularisation par défaut fait en sorte que chaque probabilité reste proche du hasard, donc les questions légitimes ne dépassent jamais le seuil. Relâcher la régularisation avec C=10.0 (et augmenter max_iter pour qu'il converge) affine le modèle assez pour que les paraphrases réelles obtiennent un score confiant alors que les déchets s'abstiennent encore. Appuie sur Run pour entraîner sur quelques questions de support étiquetées et regarde les paraphrases être classifiées pendant que le charabia recule.

À ton tour

Écris train_intent(texts, labels) en utilisant TfidfVectorizer + LogisticRegression(random_state=0) (assouplis avec C=10.0 et augmente max_iter pour que les petites données convergent), en retournant ce que le lot classify nécessite. Ensuite écris classify(model, text) retournant (label, confidence) : prends la classe predict_proba supérieure, abstiens-toi à ("unknown", conf) sous un seuil de ~0.5, et abstiens-toi immédiatement quand la ligne transformée est toute à zéro (X.nnz == 0) pour qu'une entrée hors distribution ou vide ne puisse pas être étiquetée.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.