Kurrikulum Leson 198 van 250 · Die ML rondom die LLM
Die ML rondom die LLM

Vertrouensdrempelstelling & Onthouding

A classifier always gee altyd 'n antwoord, selfs wanneer dit geen idee het nie. Softmax moet tot 1 optel, so 'n model wat werklik verward is, gee steeds vir jou 'n top label -> net met 'n lae waarskynlikheid daaragter. In produksie is dit gevaarlik: om 'n kliënt stilweg verkeerd te stuur is erger as om te erken dat jy onseker is.

Die regstelling is 'n confidence threshold met 'n abstain opsie. Jy kyk na die waarskynlikheid van die boonste label. As dit die drempelel is, tree jy daarop op. As dit nie is nie, gee jy 'n spesiale "abstain"verdict wat die versoek na 'n mens oorhandig (of eskaleer na 'n duurder model). Dit is die mens-oorhandig-hek wat elke ernstige LLM-stelsel het.

probs  = [0.80, 0.12, 0.08]      # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"

probs  = [0.40, 0.35, 0.25]      # model is unsure
# top prob 0.40 <  0.6 -> return "abstain"

Die drempel is 'n knop wat jy vanuit data aanpas: verhoog dit en jy wees gereeld meer afwesig (veiliger, meer menslike werk); verlaag dit en jy tree gereeld meer op (goedkoper, meer riskant). Die grens self saak -> besluit of 'n waarskynlikheid presies gelyk aan die drempel as vertroulik tel. Hier gebruik ons >= threshold beteken vertroulik (die grenswaarde slaag).

Waar kom die waarskynlikhede vandaan? Gewoonlik model.predict_proba(...) van die classifier wat jy vroeër gebou het, of die per-prototype cosine scores wat genormaliseer is in 'n verdeling. In elk geval is die gating logic dieselfde klein funksie, en dit is suiwer en deterministies -> presies die soort veiligheidsmaatreg wat jy kan unit-test.

Boue een funksie. classify_with_threshold(probs, labels, threshold): vind die label met die hoogste waarskynlikheid; as daardie waarskynlikheid >= threshold is, gee die label terug, anders gee die string "abstain" terug. probs en labels is belyn lysse. Druk Run om te sien hoe 'n seker geval deurgaan en 'n onseker een wegbly.

Jou beurt

Skryf classify_with_threshold(probs, labels, threshold) waar probs en labels belyn lysse is. Gee die etiket waarvan die waarskynlikheid die hoogste is terug, maar net as daardie waarskynlikheid >= threshold is; anders gee jy die string "abstain" terug. Behandel 'n waarskynlikheid wat presies gelyk is aan die drempel as vertroulik.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.