Kurrikulum Leson 225 van 250 · Projek: Produksie AI-poort
Projek: Produksie AI-poort

Intent-klasifiseerder met Abstain

Welkom by jou finale projek. Oor vier lesse verskik jy die laag wat tussen jou gebruikers en die model sit: 'n AI gateway wat klassifiseer wat 'n versoek wil hê, dit na die regte handler roeier, antwoorde kasseer, teen misbruik beskerm en elke dollar bereken. Dit is die onopgesette infrastruktuur wat 'n slim demo in iets verander wat 'n maatskappy werklik kan bestuur. Dit is presies wat 'n werwingsbestuurder bedoel wanneer 'n reël op 'n CV lees "built an AI gateway: classify, route, cache, guardrail, cost-account."

Een eerlike nota oor omvang: jy bou die toepassing-laag logic van 'n gateway (classify, route, semantic-cache, guardrail, cost-account). 'n Gateway wat jy werklik in produksie sou hardloop, het ook 'n hardloopende diens nodig om dit te gasheer, outentikasie, werklike gedistribueerde rate-limiting, en 'n deployment, wat buite hierdie in-browser capstone is.

Eerste stop: die voordeur. Elke versoek wat aankom is 'n blok teks, en voordat jy enigiets slim daarmee kan doen moet jy weet wat dit is. Is dit 'n weer-vraag? 'n Rekeningprobleem? 'n Faktuurklagte? Jy gaan 'n intent classifier bou wat leer van 'n handvol gelabelde voorbeelde en elke nuwe versoek merk. Die vangst wat 'n speltjie van 'n regte classifier skei: dit moet weet wanneer dit nie weet nie. 'n Model wat met selfvertroue onsin labelleer is erger as nutloos verderop, so joune sal onthou en "unknown" wanneer dit nie seker is nie.

Jy gaan twee funksies skryf:

  • train_intent(texts, labels) -> pas 'n TfidfVectorizer aan om die tekste in vektore te verander, dan 'n LogisticRegression(random_state=0) bo-op. Gee die pakkie terug ( 'n dict is reg) wat classify nodig het om voorspellings te maak. Seed die model sodat almal identiese resultate kry.
  • classify(model, text) -> gee 'n (label, confidence) tuple terug. Kry die klas-waarskynlikhede met predict_proba, neem die boonste een, en as die selfvertroue onder 'n drempel is (ongeveer 0.5), gee ("unknown", confidence) terug in plaas daarvan.

Die truc om werklik buite-verdeling insets te vang is goedkoop en robuust. Wanneer TfidfVectorizer.transform teks sien met geen van die opleidingswoordebank nie, is die resulterende ry al nulle (sy .nnz is 0). Dit is jou sein dat die model niks het om op te bou nie, so hou dadelik op:

X = vec.transform([text])
if X.nnz == 0:
    return ("unknown", 0.0)
probs = clf.predict_proba(X)[0]
idx = probs.argmax()
conf = float(probs[idx])
return (clf.classes_[idx], conf) if conf >= 0.5 else ("unknown", conf)

Een praktiese nota oor die model: op klein opleidingssets laat die standaard regularisering elke waarskynlikheid naby kans sweef, so dat geldige vrae nooit die drempel oorskry nie. Die versoepeling van regularisering met C=10.0 (en die verhoging van max_iter sodat dit konvergeer) skerp die model genoeg op sodat werklike parafrases selfversekerd tel terwyl rommel steeds wegbly. Druk Run om op 'n paar gelabelde ondersteuningsvrae te oefen en kyk hoe parafrases geklassifiseer word terwyl onsin wegtrek.

Jou beurt

Skryf train_intent(texts, labels) met TfidfVectorizer + LogisticRegression(random_state=0) (versoepel met C=10.0 en verhoog max_iter sodat klein data konvergeer), en gee terug wat classify nodig het. Skryf dan classify(model, text) wat (label, confidence) teruggee: neem die boonste predict_proba klas, wees afwesig by ("unknown", conf) onder 'n ~0.5 drempel, en wees onmiddellik afwesig wanneer die getransformeerde ry alles nulle is (X.nnz == 0) sodat buite-distribusie of leë inset nie gelabel kan word nie.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.