Programma Les 166 van 250 · LLM Evals & Testen
LLM Evals & Testen

Assertie-gebaseerde evaluaties (exacte match & bevat)

Je hebt de prompt veranderd en de output "voelt beter." Dat gevoel is geen resultaat. De taak van een eval is om het te vervangen door een getal dat je in een pull request kunt zetten: deze prompt scoort 0.86 op de gold set, de oude scoorde 0.74. Voordat je naar iets fancy grijpt, is de workhorse eval de goedkoopste: neem een gelabelde set inputs met bekende juiste antwoorden, draai je systeem en tel hoeveel het goed had.

De valkuil is het beslissen wat "juist" betekent. Een LLM geeft bijna nooit de gouden string byte voor byte terug. Het voegt een punt toe, maakt een woord hoofdletter, of zet het antwoord in een zin. Dus kies je een match mode:

  • exact -> de voorspelling is gelijk aan het gouden antwoord nadat je normaliseert (kleine letters, verwijder witregels). Gebruik dit voor korte, gesloten antwoorden: een label, een ja/nee, een stad.
  • bevat -> het gouden antwoord verschijnt ergens binnenin de voorspelling. Gebruik dit wanneer het model mag kletsen: "De hoofdstad is Parijs." moet nog steeds als correct tellen voor het gouden paris.

Normaliseren is belangrijk. Zonder dit scoren "Paris" en "paris" als een miss en liegt je eval tegen je. Hier is de vorm van een vergelijking:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)

Accuracy is dan gewoon het gemiddelde van die scores per voorbeeld. In een echte harness komen de predictions uit een live model call; hier word je beoordeeld op de scoring wiskunde, wat het deel is dat precies goed moet zijn. Twee extra controles zitten in elke veiligheidsbewuste harness: een allow-list (elke output moet een van een vaste set labels zijn) en een forbidden-pattern scan (geen output mag een verboden zin bevatten zoals "as an AI").

Wat je gaat bouwen.

  • evaluate(predictions, gold, mode) -> de gemiddelde exact-or-contains score over twee parallelle lijsten, rounded tot 4 plaatsen. Een lege lijst geeft 0.0 terug, nooit een crash. Gooi ValueError op een onbekende modus.
  • label_in_set(outputs, allowed) -> {"passed", "failed"} tellen hoeveel gestripte outputs er in de allowed set zitten.
  • has_forbidden(text, patterns) -> True als een regex in patterns wordt gevonden in text.

Druk Run om een gouden set onder beide modi te scoren.

Jij bent aan de beurt

Schrijf evaluate(predictions, gold, mode) die de gemiddelde score over twee parallelle lijsten teruggeeft, waarbij mode is 'exact' (genormaliseerde gelijkheid) of 'contains' (gold verschijnt in de voorspelling); normaliseer met strip().lower(), round de accuracy naar 4 plaatsen, geef 0.0 terug bij een lege set, en gooi ValueError op een onbekende modus. Schrijf ook label_in_set(outputs, allowed) -> {'passed', 'failed'} die gestripte outputs telt tegen de allowed set, en has_forbidden(text, patterns) -> True als een regex patroon wordt gevonden in text, negeer hoofdletters (dus as an ai vangt ook "As an AI" op).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.