Kurrikulum Leson 236 van 250 · Projek: Prompt Evaluation CI
Projek: Prompt Evaluation CI

Goue Stel + Scorrers

Jy het 'n nuwe prompt gestuur en dit voel beter. Jou spanleier vra die enigste vraag wat saak maak: hoeveel beter, en hoe weet jy dit? "Vibes" oorleef nie kodehersiening nie. Die taak is om 'n vae bewering in 'n getal te verander wat jy kan verdedig, en die fondament van elke prompt-eval harness is 'n gold set ( 'n lys van inputs gepaard met hul bekende korrekte antwoorde) plus 'n scorer ( 'n function wat sê hoe naby 'n model se antwoord aan die gold antwoord is).

Dit is les 1 van 'n projek in drie dele. Teen die einde van die module sal jy 'n regte prompt-evaluation harness met 'n CI regression gate -> die soort ding wat 'n werwingsbestuurder op 'n CV sien as "built a prompt-eval harness + regression gate" en dadelik weet jy kan LLM features verantwoordelik lewer. Vandag bou jy die meetstaf: drie scorers en die runner wat een oor 'n hele gold set toepas.

Een eerlike nota oor omvang: die harness en regression-gate logika wat jy hier bou is werklik en oordraagbaar, maar die judge model is gemok en "accuracy" hier is exact-match. Op 'n regte projek sal jy hierdie selfde dele aan 'n lewendige judge model en ryker scorers koppel.

Verskillende take het verskillende scorers nodig, so bou jy drie:

  • score_exact(pred, gold) -> 1.0 as die voorspelling gelyk is aan die goue antwoord na 'n .strip() op albei, anders 0.0. Dit is die regte oproep vir 'n classifier ("positive" vs "negative") waar net 'n presiese ooreenstemming tel.
  • score_contains(pred, gold) -> 1.0 as die gold string enige plek binne die voorspelling verskyn (geen onderskeid tussen hoofletters en kleinletters, albei gestrip), anders 0.0. Goed vir "het die antwoord die sleutelffeit genoem?" kontroles waar ekstra woorde reg is.
  • token_f1(pred, gold) -> 'n partial-credit telling in [0.0, 1.0] gebaseer op woordoorenhaling, die werkperd vir vrye-teks antwoorde waar 'n byna-mislukking 'n totale mis moet wen.

Hoe token F1 werk. Maak albei reekse in kleinletters en verdeel hulle in woordtokens. Tel hoeveel tokens hulle deel, met inagnoming van duplikate (behandel die tokenlyste as multisets, so collections.Counter en sy & snit is jou vriend). Dan:

overlap   = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens)   # of the words I said, how many were right?
recall    = overlap / len(gold_tokens)   # of the words I should have said, how many did I?
f1        = 2 * precision * recall / (precision + recall)

Werkgave: pred="the quick brown fox", gold="the lazy brown dog". Hulle deel the en brown -> oorklapping 2. Presisie is 2/4, roeping is 2/4, so F1 is 0.5. Let op die rante: as enige kant nul tokens het, of die oorklapping nul is, is F1 0.0 (deel nooit deur nul nie).

Uiteindelik die runner wat 'n scorer in 'n evaluasie verander:

  • run_suite(predictions, golds, scorer) -> tel elke (pred, gold) paar met die gegee scorer funksie en gee {"score": mean_score, "per_case": [list of each case's score]} terug. Die gemiddelde oor 'n leë suite is 0.0.

Om die scorer in te gebruik (in plaas daarvan om dit hard te kodeer) is die ontwerp wat dit moontlik maak om beide exact-match classifiers en vrye teks antwoorde te hanteer. Druk Run om 'n klein goue stel op drie verskillende maniere te punteer.

Jou beurt

Bou die tellingkern van 'n prompt-eval harness. Skryf score_exact(pred, gold) (1.0 op 'n gestripte presiese ooreenstemming anders 0.0), score_contains(pred, gold) (1.0 as die gestripte, kleinletter gold 'n substring van die voorspelling is anders 0.0), en token_f1(pred, gold) (token-overlap F1 oor kleinletter woordtokens, 0.0 wanneer enige kant leeg is of daar geen ooreenstemming is). Skryf dan run_suite(predictions, golds, scorer) wat {"score": mean, "per_case": [scores]} teruggee (gemiddelde 0.0 op 'n leë suite).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.