Programma Les 167 van 250 · LLM Evals & Testen
LLM Evals & Testen

Token-F1 & ROUGE-stijl overlap

Exact-match is meedogenzwaar voor alles wat langer is dan een label. Vraag een model "Wie schilderde de Mona Lisa en wanneer?" en het gouden antwoord is "Leonardo da Vinci, rond 1503". Het model zegt "Het werd geschilderd door Leonardo da Vinci rond 1503." Exact-match geeft dat een nul. Het is overduidelijk een goed antwoord. Voor vrije tekst antwoorden heb je partial-credit scoring nodig, en de twee standaard tools zijn token-F1 en ROUGE.

Token-F1 behandelt elk antwoord als een zak met woorden en vraagt hoeveel ze overlappen. Zet alles in kleine letters, splits op spaties en vergelijk de twee token sets:

  • precision = (tokens in both) / (tokens in the prediction) -> straft het toevoegen van onzin aan het antwoord.
  • recall = (tokens in both) / (tokens in the gold) -> straft het weglaten van de woorden uit de gold.
  • F1 = het harmonisch gemiddelde, 2 * P * R / (P + R) -> één getal dat straft als je zwak bent aan beide zijden.

Identieke strings scoren 1.0; antwoorden die geen woorden delen scoren 0.0. Werk er één met de hand uit: voorspelling "the cat ran", gold "the dog sat". De enige gedeelde token is the, dus precisie is 1/3, recall is 1/3, en F1 is 1/3.

ROUGE-N is de metriek waarop de samenvatting wordt beoordeeld. In plaats van losse woorden telt het overlappende n-grams (opeenvolgende reeksen van n tokens) en rapporteert het recall: van de n-grams in de gouden standaard, hoeveel verschijnen er in de voorspelling?

def ngrams(tokens, n):
    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]

Voor gold "the cat sat on" en voorspelling "the cat sat": de vier unigrams van de gold zijn the, cat, sat, on; er verschijnen er drie, dus ROUGE-1 is 3/4. De drie bigrams van de gold zijn (the,cat), (cat,sat), (sat,on); er verschijnen er twee, dus ROUGE-2 is 2/3. ROUGE-2 is meestal lager dan ROUGE-1 omdat het matchen van woord order moeilijker is dan het matchen van woorden, en dat is precies waarom je beide rapporteert.

Wat je gaat bouwen.

  • token_f1(pred, gold) -> de F1 over lowercase token sets; return 0.0 als een van beide zijden leeg is of als er geen overlap is (deel nooit door nul).
  • rouge_n(pred, gold, n) -> de fractie van de n-grams van de gold die voorkomen in de voorspelling; 0.0 wanneer de gold geen n-grams heeft.

Hoe dit verschilt van de library. Voor het onderwijs scoren we over token sets, dus een herhaald woord telt één keer. Productie token-F1 (de SQuAD stijl) gebruikt multiset counts, dus duplicaten hebben gewicht, en echte ROUGE voegt ROUGE-L toe, wat de langste gemeenschappelijke subreeks scoort in plaats van vaste n-grams. Het idee is hetzelfde; de productieversies tellen duplicaten en woordvolgorde gewoon zorgvuldiger.

Druk Run om een voorspelling te scoren tegen een referentie.

Jij bent aan de beurt

Schrijf token_f1(pred, gold) die de F1 van de twee lowercase token sets berekent (precision = overlap / prediction-tokens, recall = overlap / gold-tokens, F1 = het harmonisch gemiddelde), en geef 0.0 terug wanneer een van beide zijden leeg is of er geen overlap is. Schrijf rouge_n(pred, gold, n) die de fractie van de n-grams van de gold (aaneengesloten n-token tuples) teruggeeft die in de prediction voorkomen, en geef 0.0 terug wanneer de gold geen n-grams heeft.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.