Assertie-gebaseerde evaluaties (exacte match & bevat)
Je hebt de prompt veranderd en de output "voelt beter." Dat gevoel is geen resultaat. De taak van een eval is om het te vervangen door een getal dat je in een pull request kunt zetten: deze prompt scoort 0.86 op de gold set, de oude scoorde 0.74. Voordat je naar iets fancy grijpt, is de workhorse eval de goedkoopste: neem een gelabelde set inputs met bekende juiste antwoorden, draai je systeem en tel hoeveel het goed had.
De valkuil is het beslissen wat "juist" betekent. Een LLM geeft bijna nooit de gouden string byte voor byte terug. Het voegt een punt toe, maakt een woord hoofdletter, of zet het antwoord in een zin. Dus kies je een match mode:
- exact -> de voorspelling is gelijk aan het gouden antwoord nadat je normaliseert (kleine letters, verwijder witregels). Gebruik dit voor korte, gesloten antwoorden: een label, een ja/nee, een stad.
- bevat -> het gouden antwoord verschijnt ergens binnenin de voorspelling. Gebruik dit wanneer het model mag kletsen: "De hoofdstad is Parijs." moet nog steeds als correct tellen voor het gouden
paris.
Normaliseren is belangrijk. Zonder dit scoren "Paris" en "paris" als een miss en liegt je eval tegen je. Hier is de vorm van een vergelijking:
def score_one(pred, gold, mode):
p = pred.strip().lower()
g = gold.strip().lower()
if mode == "exact":
return 1.0 if p == g else 0.0
if mode == "contains":
return 1.0 if g in p else 0.0
raise ValueError("unknown mode: " + mode)Accuracy is dan gewoon het gemiddelde van die scores per voorbeeld. In een echte harness komen de predictions uit een live model call; hier word je beoordeeld op de scoring wiskunde, wat het deel is dat precies goed moet zijn. Twee extra controles zitten in elke veiligheidsbewuste harness: een allow-list (elke output moet een van een vaste set labels zijn) en een forbidden-pattern scan (geen output mag een verboden zin bevatten zoals "as an AI").
Wat je gaat bouwen.
evaluate(predictions, gold, mode)-> de gemiddelde exact-or-contains score over twee parallelle lijsten,rounded tot 4 plaatsen. Een lege lijst geeft0.0terug, nooit een crash. GooiValueErrorop een onbekende modus.label_in_set(outputs, allowed)->{"passed", "failed"}tellen hoeveel gestripte outputs er in deallowedset zitten.has_forbidden(text, patterns)->Trueals een regex inpatternswordt gevonden intext.
Druk Run om een gouden set onder beide modi te scoren.
Schrijf evaluate(predictions, gold, mode) die de gemiddelde score over twee parallelle lijsten teruggeeft, waarbij mode is 'exact' (genormaliseerde gelijkheid) of 'contains' (gold verschijnt in de voorspelling); normaliseer met strip().lower(), round de accuracy naar 4 plaatsen, geef 0.0 terug bij een lege set, en gooi ValueError op een onbekende modus. Schrijf ook label_in_set(outputs, allowed) -> {'passed', 'failed'} die gestripte outputs telt tegen de allowed set, en has_forbidden(text, patterns) -> True als een regex patroon wordt gevonden in text, negeer hoofdletters (dus as an ai vangt ook "As an AI" op).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.