Uitsetwaarnemers & Spooraggregasie
A model se antwoord is onbetroubaar totdat jy dit nagaan. Twee uitset-waardes dek die meeste behoeftes. 'n allow-list-waarskoot vereis dat die uitset presies een van 'n bekende stel is. Dit is hoe jy 'n klassifiseerder betroubaar maak: as die model veronderstel om positive, negative, of neutral te antwoord, word enigiets anders verwerp. 'n deny-list-waarskoot merk enige uitset wat 'n verbode term bevat ('n lekker geheim, 'n belediging, 'n mededinger se naam) ongeag die omringende teks.
Produksiestelsels het ook naspeurbaarheid (traceability) nodig: elke oproep aangeteken met sy invoer, uitvoer, aantal tokens, vertraging en koste, sodat jy agterna kan antwoord "wat het dit gekos en hoe stadig was dit?". Jy voeg daardie rekords saam in 'n opsomming: totale koste, en vertragings-persentiel. Die p95-vertraging (die waarde waaronder 95% van oproepe ingekom het) is die getal waarna ingenieurs aan diens werklik kyk, omdat gemiddeldes die stadige stert verberg.
import numpy as np
p95 = np.percentile(latencies, 95) # the slow-tail number, not the meanBou die vier funksies. (1) validate_output(text, allowed_labels) -> True net as text.strip() in allowed_labels is. (2) contains_banned(text, banned) -> True as enige verbode term in text verskyn sonder onderskeid van hoofletters. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> 'n dict met presies daardie vyf sleutels. (4) aggregate_traces(traces) -> bou 'n pandas.DataFrame vanaf die trace dicts en gee 'n dict terug met n, total_cost (afgerond tot 6 dp), p50_latency, en p95_latency bereken met numpy.percentile.
Bou validate_output(text, allowed_labels) (Waar net wanneer text.strip() 'n toegelaatse label is), contains_banned(text, banned) (Waar wanneer enige verbode term verskyn, ongeag hoofletters), build_trace(input_text, output_text, tokens, latency_ms, cost) ( 'n dict met daardie vyf sleutels), en aggregate_traces(traces) ( 'n pandas DataFrame saamgevat tot {n, total_cost (round 6dp), p50_latency, p95_latency} via numpy.percentile). 'n Toegelaatse label moet slaag terwyl 'n ontoelaatse een blokkeer, en twee verskillende verbode lysse moet verskillende uitkomste gee.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.