Kurrikulum Leson 196 van 250 · Die ML rondom die LLM
Die ML rondom die LLM

Intensie-klassifikasie (TF-IDF + LogisticRegression)

Nie elke "AI-funksie" het 'n groot taalmodel nodig nie. 'n Groot gedeelte van produksie LLM-apps sit 'n klein, vervelige classifier voor die model: dit lees die inkomende boodskap, besluit watter soort versoek dit is (fakturering? 'n foutberig? 'n rekeningverandering?), en stuur dit daarna. Daardie besluit is vinnig, gratis, werk buite aanlyn, en is deterministies -> dieselfde inset gee altyd dieselfde antwoord. Jy spandeer eers 'n duur LLM-oproep wanneer jy werklik een nodig het.

Die werkperd vir kort teks is TfidfVectorizer + LogisticRegression. TF-IDF verander elke boodskap in 'n skraal vektor van gewigte wordtelings; logistic regression leer 'n lineêre grens tussen die intent klasse. Op 'n paar dosyne gelabelde voorbeelde trens dit in millisekondes en klassifiseer in mikrosekondes.

Jy gaan die twee in een objek verbind met 'n Pipeline sodat die vectorizer en die classifier pas en saam as 'n eenheid toegepas word:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline

pipe = Pipeline([
    ("tfidf", TfidfVectorizer()),
    ("clf", LogisticRegression(random_state=0, max_iter=1000)),
])
pipe.fit(texts, labels)
pipe.predict(["can I get a refund"])   # -> array(['billing'])

Hoekom random_state=0? 'n Gewoonte wat die moeite werd is. Die standaard solver hier (lbfgs) is deterministies, so hierdie pipeline gee dieselfde gewigte met of sonder 'n seed. Maar ander solvers (saga, liblinear) skuif die data, en baie scikit-learn modelle (random forests, k-means, train/test splits) is ontwerp om random te wees; daar is die seed wat opleiding herhaalbaar maak. Om dit oral te skryf beteken 'n latere verandering van solver of model kan nie skelm jou routing tussen runs laat verander nie. Die kursus volg hierdie reël oral.

Dit is presies die kontras met die LLM. 'n Model call is nie-deterministies, kos geld en voeg vertraging by. Hier is die soort fallback wat jy dalk verderstroom sodat jy die intent ken (getoon vir konteks, nooit gegradeer nie):

# Pseudocode: only AFTER the cheap classifier is unsure do you reach for the model.
intent = pipe.predict([msg])[0]
if intent == "general":
    reply = await window._floatiTutor.complete(msg)   # the on-device LLM

Bou twee funksies. train_classifier(texts, labels) gee 'n gefitteerde Pipeline (TF-IDF + LogisticRegression met random_state=0) terug. predict(model, new_texts) neem daardie model en 'n list van strings en gee 'n list van voorspelde labels terug. Druk Run om op 'n klein ondersteuningskaart-stel te treneer en kyk hoe dit gehou-boud boodskappe na die regte span stuur.

Jou beurt

Skryf train_classifier(texts, labels) wat 'n gefitteerde sklearn Pipeline van TfidfVectorizer() dan LogisticRegression(random_state=0, ...) teruggee, en predict(model, new_texts) wat 'n lys van voorspelde labels vir 'n lys van invoerstrengs teruggee. Die seed maak dit herhaalbaar; die classifier moet duidelike gehou-buitesteksties na hul korrekte intents stuur. Hou die starter se TEXTS en LABELS presies soos hulle is: die kontrole lees hulle.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.