Lehrplan Lektion 196 von 250 · Das ML rund um das LLM
Das ML rund um das LLM

Absichtsklassifizierung (TF-IDF + LogisticRegression)

Nicht jedes "KI-Feature" braucht ein großes Sprachmodell. Ein riesiger Teil der produktiven LLM-Apps setzt einen winzigen, langweiligen Classifier vor das Modell: Er liest die eingehende Nachricht, entscheidet, um welche Art von Anfrage es sich handelt (Abrechnung? ein Fehlerbericht? eine Kontowechsel?) und leitet entsprechend weiter. Diese Entscheidung ist schnell, kostenlos, läuft offline und ist deterministisch -> der gleiche Input gibt immer die gleiche Antwort. Du gibst nur dann einen teuren LLM-Aufruf aus, wenn du ihn tatsächlich brauchst.

Das Arbeitstier für kurze Texte ist TfidfVectorizer + LogisticRegression. TF-IDF macht jede Nachricht zu einem dünnbesetzten Vektor von gewichteten Worthäufigkeiten; logistic regression lernt eine lineare Grenze zwischen den Intent-Klassen. An einigen Dutzend gelabelten Beispielen trainiert es in Millisekunden und klassifiziert in Mikrosekunden.

Du wirst die beiden in ein Objekt mit einem Pipeline verdrahten, damit der vectorizer und der classifier zusammen als Einheit passen und angewendet werden:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline

pipe = Pipeline([
    ("tfidf", TfidfVectorizer()),
    ("clf", LogisticRegression(random_state=0, max_iter=1000)),
])
pipe.fit(texts, labels)
pipe.predict(["can I get a refund"])   # -> array(['billing'])

Warum random_state=0? Eine Gewohnheit, die sich lohnt. Der Standard-Solver hier (lbfgs) ist deterministisch, also liefert diese Pipeline die gleichen Gewichte mit oder ohne Seed. Aber andere Solver (saga, liblinear) mischen die Daten, und viele scikit-learn Modelle (random forests, k-means, train/test splits) sind von Grund auf zufällig; dort macht der Seed das Training reproduzierbar. Ihn überall zu schreiben bedeutet, dass eine spätere Änderung des Solvers oder Modells dein Routing nicht heimlich zwischen den Durchläufen umkehren kann. Der Kurs folgt dieser Regel überall.

Dies ist genau der Kontrast zum LLM. Ein Model call ist nicht-deterministisch, kostet Geld und verursacht Latenz. Hier ist die Art von Fallback, die du nachgelagert verkabeln könntest, sobald du die Absicht kennst (zur Veranschaulichung gezeigt, niemals bewertet):

# Pseudocode: only AFTER the cheap classifier is unsure do you reach for the model.
intent = pipe.predict([msg])[0]
if intent == "general":
    reply = await window._floatiTutor.complete(msg)   # the on-device LLM

Erstelle zwei Funktionen. train_classifier(texts, labels) gibt ein trainiertes Pipeline (TF-IDF + LogisticRegression mit random_state=0) zurück. predict(model, new_texts) nimmt dieses Modell und eine list von Strings und gibt eine list von vorhergesagten Labels zurück. Drücke Run um auf einem kleinen Support-Ticket-Set zu trainieren und beobachte wie es zurückgehaltene Nachrichten an das richtige Team leitet.

Du bist dran

Schreibe train_classifier(texts, labels), das einen angepassten sklearn Pipeline von TfidfVectorizer() und dann LogisticRegression(random_state=0, ...) zurückgibt, und predict(model, new_texts), das eine Liste von vorhergesagten Labels für eine Liste von Eingabestring zurückgibt. Der Seed macht es reproduzierbar; der Klassifikator muss unterschiedliche zurückgehaltene Nachrichten an ihre korrekten Intents senden. Behalte TEXTS und LABELS vom Starter so wie sie sind: die Prüfung liest sie aus.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.