Output Guards & Trace Aggregatie
Het antwoord van een model is onbetrouwbaar tot je het controleert. Twee uitvoerbewakers dekken de meeste behoeften. Een bewaker met een toelatingslijst eist dat de uitvoer precies een van een bekende set is, en zo maak je een classifier betrouwbaar: hoort het model positive, negative of neutral te antwoorden, dan wordt al het andere geweigerd. Een bewaker met een weigerlijst markeert elke uitvoer met een verboden term (een gelekt geheim, een scheldwoord, de naam van een concurrent), wat er ook omheen staat.
Systemen in productie hebben ook traceerbaarheid nodig: elke aanroep vastgelegd met invoer, uitvoer, aantal tokens, latentie en kosten, zodat je achteraf kunt beantwoorden "wat kostte dit en hoe traag was het?". Je vat die records samen in een overzicht: totale kosten en latentie-percentielen. De p95-latentie (de waarde waaronder 95% van de aanroepen binnenkwam) is het getal waar dienstdoende engineers echt naar kijken, omdat gemiddelden de trage staart verbergen.
import numpy as np
p95 = np.percentile(latencies, 95) # the slow-tail number, not the meanBouw vier functies. (1) validate_output(text, allowed_labels) -> True alleen als text.strip() in allowed_labels staat. (2) contains_banned(text, banned) -> True als een verboden term in text voorkomt, zonder onderscheid tussen hoofd- en kleine letters. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> een dict met precies die vijf sleutels. (4) aggregate_traces(traces) -> bouw een pandas.DataFrame van de trace-dicts en geef een dict terug met n, total_cost (afgerond op 6 decimalen), p50_latency en p95_latency, berekend met numpy.percentile.
Bouw validate_output(text, allowed_labels) (Waar alleen als text.strip() een toegestaan label is), contains_banned(text, banned) (Waar als een verboden term verschijnt, ongeacht hoofdlettergevoeligheid), build_trace(input_text, output_text, tokens, latency_ms, cost) (een dict met die vijf keys), en aggregate_traces(traces) (een pandas DataFrame samengevat tot {n, total_cost (round 6dp), p50_latency, p95_latency} via numpy.percentile). Een toegestaan label moet doorlaten terwijl een niet-toegestaan label blokkeert, en twee verschillende verboden lijsten moeten verschillende uitspraken geven.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.