Kalibrering van Weierings: Oor- vs Onder-weiering
Om die aanvalle te blokkeer is net die helfte van veiligheid. Die ander helfte is nie oormatige blokkering nie. 'n Model wat elke effens-spiekerige vraag weier is veilig en nutteloos, die veiligheids-ekwivalent van 'n rookalarm wat afgaan wanneer jy brood rooster. Jy moet beide foute op dieselfde gelabelde stel meet en die lyn tussen hulle aanpas.
Neem 'n stel aanshoene wat elk gemerk is met wat die app should moet doen: "refuse" (regtig skadelik) of "answer" (onskadelik). Jou wag produceer 'n risk score per aanshoen, en jy weier wanneer die telling 'n threshold oorskry. Twee foute kan gebeur:
- Oor-weiering ('n vals positief): jy het 'n aanvraag geweurd wat jy moes beantwoord. Irriterend, dit dryf gebruikers weg.
- Onder-weiering ('n vals negatief): jy het 'n aanvraag beantwoord wat jy moes weier. Gevaarlik, die hoofrisiko.
As jy "refuse" as die positiewe klas behandel, vertel die standaardmetrieke die hele storie:
precision = TP / (TP + FP) # of what I refused, how much truly needed refusing
recall = TP / (TP + FN) # of the truly-harmful, how much I caught
f1 = 2 * P * R / (P + R)Lêe presisie beteken jy weerlief te veel (baie onskadelike aanvrae in jou weierings). Lêe herroep beteken jy weierlief te min (skadelike aanvrae kom deur). Hulle ruil af wanneer jy die drempel skuif: weier aggressief en herroep styg terwyl presisie daal; weier konserwatief en die omgekeerde gebeur. Jy sal refusal_metrics(scores, labels, threshold) skryf en dan best_threshold(scores, labels, candidates) wat kandidaatdrempels deursoek en die een met die hoogste F1 teruggee, die enkele getal wat weier om om beide foute weg te loop.
Twee korrektheidsbesonderhede wat die toetse nagaan. Weerlê wanneer score >= threshold (groter-as-of-gelyk, so 'n telling op die lyn weerlê). En wanneer 'n metriek se noemer nul is (jy het niks geweer nie, so presisie is ongedefinieerd) gee 0.0 terug eerder as om te kras. Jou metrieke moet ooreenstem met scikit-learn se precision_score, recall_score, en f1_score met zero_division=0, omdat jy nooit handgemaakte metrieke moet verskaf wat verskil van die getoetsde biblioteek nie.
Skryf refusal_metrics(scores, labels, threshold) waar labels is "refuse"/"answer" en jy voorspel weier wanneer score >= threshold. Behandel "refuse" as positief en gee {"precision", "recall", "f1"} terug, elk round tot 4 plekke, met 0.0 vir enige nul-noemer metriek (moet ooreenstem met sklearn met zero_division=0). Skryf dan best_threshold(scores, labels, candidates) wat die kandidaat met die hoogste F1 teruggee (laagste drempel wen 'n gelykstand), en stel best = best_threshold(SCORES, LABELS, CANDIDATES) in.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.