Lehrplan Lektion 225 von 250 · Projekt: Production AI Gateway
Projekt: Production AI Gateway

Intent Classifier mit Abstain

Willkommen zu deinem Capstone Build. Über vier Lektionen schiffst du die Schicht, die zwischen deinen Nutzern und dem Modell liegt: ein AI gateway, das klassifiziert, was eine Anfrage möchte, sie zum richtigen Handler routet, Antworten zwischenspeichert, vor Missbrauch schützt und jeden Dollar berücksichtigt. Dies ist die unglamouröse Infrastruktur, die eine clevere Demo in etwas verwandelt, das ein Unternehmen tatsächlich betreiben kann, und es ist genau das, was ein Hiring Manager meint, wenn eine Zeile im Lebenslauf lautet „built an AI gateway: classify, route, cache, guardrail, cost-account.“

Eine ehrliche Anmerkung zum Umfang: du baust die Anwendungsschicht logic eines Gateways (classify, route, semantic-cache, guardrail, cost-account). Ein Gateway, das du tatsächlich in der Produktion laufen lassen würdest, benötigt auch einen laufenden Service zum Hosten, Authentifizierung, echtes verteiltes Rate-Limiting und ein Deployment, was über dieses In-Browser-Capstone-Projekt hinausgeht.

Erster Halt: die Haustür. Jede ankommende Anfrage ist ein Textblock, und bevor du etwas Kluges damit machen kannst, musst du wissen was es ist. Ist das eine Wetterfrage? Ein Kontoproblem? Eine Abrechnungsbeschwerde? Du wirst einen intent classifier bauen, der aus einer Handvoll beschrifteter Beispiele lernt und jede neue Anfrage markiert. Der Haken, der ein Spielzeug von einem echten Classifier unterscheidet: Er muss wissen, wenn er es nicht weiß. Ein Modell, das Unsinn selbstbewusst labelt, ist im weiteren Verlauf schlimmer als nutzlos, also wird deines abstain und gibt "unknown" zurück, wenn es sich nicht sicher ist.

Du wirst zwei Funktionen schreiben:

  • train_intent(texts, labels) -> passe einen TfidfVectorizer an, um die Texte in Vektoren umzuwandeln, dann einen LogisticRegression(random_state=0) obenauf. Gib das Bundle zurück (ein Dictionary ist okay), das classify braucht, um Vorhersagen zu machen. Setze den Seed des Modells, damit jeder identische Ergebnisse erhält.
  • classify(model, text) -> gib ein (label, confidence) Tupel zurück. Hol dir die Klassenwahrscheinlichkeiten mit predict_proba, nimm die oberste und wenn ihr Konfidenzwert unter einem Schwellenwert (etwa 0.5) liegt, gib stattdessen ("unknown", confidence) zurück.

Der Trick, um Eingaben zu erkennen, die wirklich außerhalb der Verteilung liegen, ist günstig und robust. Wenn TfidfVectorizer.transform Text mit none des Trainingsvokabulars sieht, besteht die resultierende Zeile nur aus Nullen (ihr .nnz ist 0). Das ist dein Signal, dass das Modell keine Grundlage hat, also verzichte sofort:

X = vec.transform([text])
if X.nnz == 0:
    return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)

Eine echte Anmerkung zum Modell: Bei winzigen Trainingssets lässt die Standard-Regularisierung jede Wahrscheinlichkeit nahe dem Zufall schweben, also überwinden legitime Fragen nie die Schwelle. Das Lockern der Regularisierung mit C=10.0 (und das Erhöhen von max_iter, damit es konvergiert) schärft das Modell so weit, dass echte Paraphrasen sicher bewertet werden, während Müll sich zurückhält. Drücke Run, um auf einigen gelabelten Support-Fragen zu trainieren und beobachte, wie Paraphrasen klassifiziert werden, während Kauderwelsch zurückweicht.

Du bist dran

Schreibe train_intent(texts, labels) mit TfidfVectorizer + LogisticRegression(random_state=0) (lockere mit C=10.0 und erhöhe max_iter so dass kleine Daten konvergieren) und gib das Bundle zurück, das classify benötigt. Schreibe dann classify(model, text) und gib (label, confidence) zurück: nimm die oberste predict_proba Klasse, verzichte auf ("unknown", conf) unter einem ~0.5 Schwellenwert und verzichte sofort wenn die transformierte Zeile nur Nullen enthält (X.nnz == 0) damit off-distribution oder leere Eingaben nicht gelabelt werden können.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.