Gouden Set + Scorers
Je hebt een nieuwe prompt verzonden en het voelt beter. Je teamleider stelt de enige vraag die ertoe doet: hoeveel beter, en hoe weet je dat? "Vibes" overleven geen code review. De taak is om een vage claim om te zetten naar een getal dat je kunt verdedigen, en de basis van elke prompt-eval harness is een gold set (een lijst van inputs gekoppeld aan hun bekende juiste antwoorden) plus een scorer (een functie die zegt hoe dicht het antwoord van een model bij het gold antwoord ligt).
Dit is les 1 van een project in drie delen. Aan het einde van de module heb je een echt prompt-evaluation harness met een CI regression gate -> het soort ding dat een hiring manager op een cv ziet als "built a prompt-eval harness + regression gate" en meteen weet dat je LLM features verantwoord kunt leveren. Vandaag bouw je de meetlat: drie scorers en de runner die er één toepast over een hele gold set.
Eén eerlijke opmerking over de reikwijdte: de harness en regression-gate logica die je hier bouwt is echt en overdraagbaar, maar het judge model is gemockt en "accuracy" is hier een exacte match. In een echt project zou je dezezelfde onderdelen aansluiten op een live judge model en rijkere scorers.
Verschillende taken hebben verschillende scorers nodig, dus je bouwt er drie:
score_exact(pred, gold)->1.0als de prediction gelijk is aan het gold answer na een.strip()op beide, anders0.0. Dit is de juiste call voor een classifier ("positive" vs "negative") waar alleen een exacte match telt.score_contains(pred, gold)->1.0als de gouden string ergens in de voorspelling voorkomt (niet hoofdlettergevoelig, beide gestript), anders0.0. Goed voor "noemde het antwoord de belangrijkste feiten?" controles waar extra woorden prima zijn.token_f1(pred, gold)-> een partial-credit score in[0.0, 1.0]gebaseerd op woordoverlap, de werkpaard voor vrije tekst antwoorden waar een bijna-fout beter moet scoren dan een totale misser.
Hoe token F1 werkt. Zet beide strings om naar kleine letters en splits ze in woordtokens. Tel hoeveel tokens ze delen, waarbij je duplicaten respecteert (behandel de tokenlijsten als multisets, dus collections.Counter en de & intersectie zijn je vriend). Daarna:
overlap = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens) # of the words I said, how many were right?
recall = overlap / len(gold_tokens) # of the words I should have said, how many did I?
f1 = 2 * precision * recall / (precision + recall)Uitgewerkt voorbeeld: pred="the quick brown fox", gold="the lazy brown dog". Ze delen the en brown -> overlap 2. Precisie is 2/4, recall is 2/4, dus F1 is 0.5. Let op de randen: als een van beide zijden nul tokens heeft, of de overlap nul is, is F1 0.0 (deel nooit door nul).
Eindelijk de runner die een scorer verandert in een evaluatie:
run_suite(predictions, golds, scorer)-> geef elk(pred, gold)paar een score met de gegevenscorerfunctie en retourneer{"score": mean_score, "per_case": [list of each case's score]}. Het gemiddelde over een lege suite is0.0.
Het doorgeven van de scorer aan in (in plaats van het hardcoderen) is het ontwerp dat het mogelijk maakt om zowel exact-match classifiers als vrije tekst antwoorden te beoordelen. Druk op Run om een kleine gouden set op drie verschillende manieren te scoren.
Bouw de scoring core van een prompt-eval harness. Schrijf score_exact(pred, gold) (1.0 op een stripped exact match anders 0.0), score_contains(pred, gold) (1.0 als de stripped, lowercased gold een substring is van de prediction anders 0.0), en token_f1(pred, gold) (token-overlap F1 over lowercased word tokens, 0.0 wanneer een van beide zijden leeg is of er geen overlap is). Schrijf dan run_suite(predictions, golds, scorer) die {"score": mean, "per_case": [scores]} teruggeeft (mean 0.0 op een lege suite).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.