Lehrplan Lektion 130 von 250 · Prompt Engineering für KI Ingenieure
Prompt Engineering für KI Ingenieure

Bewertung von Prompts (Genauigkeit auf einem Gold Set)

"Der neue Prompt fühlt sich besser an" ist keine Antwort. Um es zu wissen, behältst du ein gold set bei: Eingaben gepaart mit den korrekten Ausgaben, denen du vertraust. Du lässt den Prompt über die Eingaben laufen, vergleichst jede Vorhersage mit ihrer versiegelten Antwort und meldest eine Zahl. Diese Zahl ist der Weg, wie du Prompt v1 mit v2 vergleichst, ohne dich selbst zu täuschen.

Du wirst den scorer bauen. score_prediction(pred, gold) gibt 1.0 für einen Treffer und 0.0 ansonsten zurück, wobei case-insensitively und unter Ignorieren von umgebendem Whitespace verglichen wird, weil "Yes", "yes" und " yes " in der Praxis alle die gleiche Antwort sind.

evaluate(predictions, golds) geht die zwei Listen synchron durch, bewertet jedes Paar und gibt eine Zusammenfassung zurück:

evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}

Runde accuracy auf 4 Stellen. Mache empty set sicher: zero golds gibt {"accuracy": 0.0, "correct": 0, "total": 0} zurück anstatt durch Null zu teilen, weil eval sets gefiltert werden und du nicht willst, dass das harness bei einem leeren slice abstürzt.

Einer der versteckten Tests führt dein evaluate auf 50 zufällig generierten Vorhersage/Gold-Sets aus und vergleicht es mit einem im Test berechneten Referenzwert. Eine Nachschlagetabelle der sichtbaren Fälle wird das nicht überleben, was der Punkt ist: du baust einen echten Scorer und merkst dir keine Antworten. Drücke Run zum Bewerten.

Du bist dran

Schreibe score_prediction(pred, gold), das 1.0 zurückgibt, wenn die zwei übereinstimmen, wobei Groß-/Kleinschreibung und umschließende Leerzeichen ignoriert werden, sonst 0.0. Schreibe evaluate(predictions, golds), das {"accuracy", "correct", "total"} über den gepaarten Listen zurückgibt, mit einer auf 4 Stellen gerundeten accuracy und einer leeren Menge, die alle Nullen zurückgibt (kein Absturz).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.