Kurrikulum Leson 130 van 250 · Prompt Engineering vir KI-ingenieurs
Prompt Engineering vir KI-ingenieurs

Evaluering van Prompts (Akkuraatheid op 'n Gold Set)

"Die nuwe prompt voel beter" is nie 'n antwoord nie. Om te weet, hou jy 'n gold set: insets gepaard met die korrekte uitsettes wat jy vertrou. Jy hardloop die prompt oor die insets, vergelyk elke voorspelling met sy gold antwoord, en rapporteer 'n getal. Daardie getal is hoe jy prompt v1 met v2 vergelyk sonder om jouself te bedrieg.

Jy gaan die scorer bou. score_prediction(pred, gold) gee 1.0 vir 'n ooreenstemming en 0.0 andersins, terwyl dit ongevoelig vir hoofletters vergelyk en die omliggende witspasies ignoreer, omdat "Yes", "yes", en " yes " almal dieselfde antwoord in die praktyk is.

evaluate(predictions, golds) stap die twee lysse in sinkronisasie af, tel punte vir elke paar, en gee 'n opsomming terug:

evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}

Rond accuracy af tot 4 plekke. Maak die leë set veilig: nul gouds gee {"accuracy": 0.0, "correct": 0, "total": 0} terug eerder as om deur nul te deel, omdat eval sets gefilter word en jy nie wil hê die harness moet op 'n leë skyf vasloop nie.

Een van die verborge toetse hardloop jou evaluate op 50 wansinnig gegenere voorspelling/goud-sets en vergelyk dit met 'n verwysing wat in die toets bereken is. 'n Soektafel van die sigbare gevalle sal dit nie oorleef nie, wat die punt is: jy bou 'n regte scorer, nie memoriseer antwoorde nie. Druk Run om te gradeer.

Jou beurt

Skryf score_prediction(pred, gold) wat 1.0 teruggee as die twee ooreenstem deur die hooflettergevoeligheid en omringende witspasies te ignoreer, anders 0.0. Skryf evaluate(predictions, golds) wat {"accuracy", "correct", "total"} oor die gepaaide lysse teruggee, met akkuraatheid afgerond tot 4 plekke en 'n leë stel wat alle nulle teruggee (geen crash nie).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.