Programma Les 130 van 250 · Prompt Engineering voor AI Engineers
Prompt Engineering voor AI Engineers

Prompts evalueren (nauwkeurigheid op een Gold Set)

"De nieuwe prompt voelt beter aan" is geen antwoord. Om het te weten, houd je een gold set aan: inputs gekoppeld aan de juiste outputs die je vertrouwt. Je draait de prompt over de inputs, vergelijkt elke voorspelling met het verzegeld antwoord en rapporteert een getal. Dat getal is hoe je prompt v1 met v2 vergelijkt zonder jezelf te bedriegen.

Je bouwt de scorer. score_prediction(pred, gold) geeft 1.0 terug voor een match en 0.0 anders, waarbij case-insensitively en negeerend omringende witruimte wordt vergeleken, omdat "Yes", "yes", en " yes " in de praktijk allemaal hetzelfde antwoord zijn.

evaluate(predictions, golds) loopt de twee lijsten synchroon af, scoort elk paar en geeft een samenvatting terug:

evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}

Rond accuracy af op 4 plaatsen. Maak de empty set veilig: zero golds geeft {"accuracy": 0.0, "correct": 0, "total": 0} terug in plaats van delen door nul, omdat eval sets worden gefilterd en je niet wilt dat de harness crasht op een lege slice.

Een van de verborgen tests voert je evaluate uit op 50 willekeurig gegenereerde voorspelling/goud sets en vergelijkt het met een referentie die in de test is berekend. Een lookup table van de zichtbare gevallen zal dat niet overleven, wat het punt is: je bouwt een echte scorer, je onthoudt geen antwoorden. Druk op Run om te beoordelen.

Jij bent aan de beurt

Schrijf score_prediction(pred, gold) die 1.0 teruggeeft als de twee overeenkomen negeer de hoofdletter en de omliggende witruimte, anders 0.0. Schrijf evaluate(predictions, golds) die {"accuracy", "correct", "total"} teruggeeft over de gepaarde lijsten, met nauwkeurigheid afgerond op 4 plaatsen en een lege set die alle nullen teruggeeft (geen crash).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.