Token-F1 & ROUGE-style Überlappung
Exact-match ist brutal bei allem, was länger als ein Label ist. Frag ein Modell: „Wer hat die Mona Lisa gemalt und wann?“ und das Gold ist „Leonardo da Vinci, um 1503“. Das Modell sagt: „Es wurde von Leonardo da Vinci etwa 1503 gemalt.“ Exact-match gibt dafür eine Null. Es ist offensichtlich eine gute Antwort. Für Freitext-Antworten brauchst du partial-credit Scoring, und die zwei Standardwerkzeuge sind token-F1 und ROUGE.
Token-F1 behandelt jede Antwort als eine Worttasche und fragt, wie stark sie überlappen. In Kleinbuchstaben, getrennt durch Leerzeichen, und vergleiche die zwei Token-Sets:
- precision = (tokens in both) / (tokens in the prediction) -> bestraft das Auffüllen der Antwort mit Müll.
- recall = (tokens in both) / (tokens in the gold) -> bestraft das Auslassen der Wörter aus dem gold.
- F1 = das harmonische Mittel,
2 * P * R / (P + R)-> eine Zahl, die eine Schwäche auf einer Seite bestraft.
Identische Zeichenfolgen erhalten 1.0; Antworten ohne gemeinsame Wörter erhalten 0.0. Arbeite eine von Hand: prediction "the cat ran", gold "the dog sat". Der einzige gemeinsame Token ist the, also ist Präzision 1/3, Recall ist 1/3 und F1 ist 1/3.
ROUGE-N ist die Metrik, nach der die Zusammenfassung bewertet wird. Anstatt einzelner Wörter zählt sie überlappende n-grams (zusammenhängende Folgen von n Tokens) und gibt recall an: Wie viele der n-grams in der Gold-Referenz erscheinen in der Vorhersage?
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]Für gold "the cat sat on" und prediction "the cat sat": die vier unigrams von gold sind the, cat, sat, on; drei erscheinen, also ist ROUGE-1 3/4. Die drei bigrams von gold sind (the,cat), (cat,sat), (sat,on); zwei erscheinen, also ist ROUGE-2 2/3. ROUGE-2 ist meistens niedriger als ROUGE-1, weil das Matching von word order schwieriger ist als das Matching von words, und genau deshalb berichtest du beide.
Was zu bauen ist.
token_f1(pred, gold)-> das F1 über das kleingeschriebene Token sets; gib0.0zurück, wenn eine Seite leer ist oder es keine Überschneidung gibt (teile niemals durch Null).rouge_n(pred, gold, n)-> der Anteil der Gold-n-Grams, die in der Vorhersage erscheinen;0.0wenn das Gold keine n-Grams hat.
Wie sich dies von der Bibliothek unterscheidet. Für den Unterricht bewerten wir über Token sets, also zählt ein wiederholtes Wort nur einmal. Die Produktions-Token-F1 (im SQuAD-Stil) verwendet Multiset-Zählungen, also werden Duplikate gewichtet, und das echte ROUGE fügt ROUGE-L hinzu, welches die längste gemeinsame Teilfolge statt fester n-Gramme bewertet. Die Idee ist dieselbe; die Produktionsversionen zählen Duplikate und die Wortreihenfolge einfach sorgfältiger.
Drücke Run, um eine Vorhersage gegen einen Referenzwert zu bewerten.
Schreibe token_f1(pred, gold) zur Berechnung des F1 der zwei Kleinbuchstaben-Token-Sets (precision = overlap / prediction-tokens, recall = overlap / gold-tokens, F1 = das harmonische Mittel) und gib 0.0 zurück, wenn eine Seite leer ist oder kein Overlap vorliegt. Schreibe rouge_n(pred, gold, n), das den Anteil der n-Grams der gold-Daten (zusammenhängende n-Token-Tupel) zurückgibt, die in der prediction erscheinen, und gib 0.0 zurück, wenn gold keine n-Grams hat.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.