Token-F1 et recouvrement façon ROUGE
L'exact-match est brutal sur tout ce qui dépasse une étiquette. Demande à un modèle "Who painted the Mona Lisa and when?" avec pour référence "Leonardo da Vinci, around 1503". Le modèle répond "It was painted by Leonardo da Vinci in roughly 1503." L'exact-match lui donne zéro. C'est pourtant clairement une bonne réponse. Pour les réponses en texte libre, il te faut un score à crédit partiel, et les deux outils standard sont le token-F1 et ROUGE.
Le token-F1 traite chaque réponse comme un sac de mots et mesure leur recouvrement. Passe en minuscules, découpe sur les espaces, et compare les deux ensembles de tokens :
- précision = (tokens communs) / (tokens de la prédiction) -> pénalise une réponse remplie de bruit.
- rappel = (tokens communs) / (tokens de la référence) -> pénalise les mots de la référence oubliés.
- F1 = la moyenne harmonique,
2 * P * R / (P + R)-> un seul chiffre qui punit une faiblesse d'un côté comme de l'autre.
Des chaînes identiques valent 1.0 ; des réponses sans mot commun valent 0.0. Fais-en un à la main : prédiction "the cat ran", référence "the dog sat". Le seul token commun est the, donc la précision vaut 1/3, le rappel 1/3, et le F1 1/3.
ROUGE-N est la métrique qui sert à noter les résumés. Au lieu de mots isolés, elle compte les n-grammes communs (suites contiguës de n tokens) et donne le rappel : parmi les n-grammes de la référence, combien apparaissent dans la prédiction ?
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]Pour la référence "the cat sat on" et la prédiction "the cat sat" : les quatre unigrammes de la référence sont the, cat, sat, on ; trois apparaissent, donc ROUGE-1 vaut 3/4. Les trois bigrammes de la référence sont (the,cat), (cat,sat), (sat,on) ; deux apparaissent, donc ROUGE-2 vaut 2/3. ROUGE-2 est en général plus bas que ROUGE-1 car retrouver l'ordre des mots est plus dur que retrouver les mots, et c'est justement pour ça qu'on donne les deux.
À construire.
token_f1(pred, gold)-> le F1 sur les ensembles de tokens en minuscules ; renvoie0.0si un côté est vide ou s'il n'y a aucun recouvrement (ne divise jamais par zéro).rouge_n(pred, gold, n)-> la part des n-grammes de la référence qui apparaissent dans la prédiction ;0.0quand la référence n'a aucun n-gramme.
En quoi c'est différent de la bibliothèque. Pour l'apprentissage, on note sur des ensembles de tokens, donc un mot répété compte une fois. Le token-F1 de production (style SQuAD) compte avec des multiensembles, donc les doublons pèsent, et le vrai ROUGE ajoute ROUGE-L, qui note la plus longue sous-séquence commune au lieu de n-grammes fixes. L'idée est la même ; les versions de production comptent juste les doublons et l'ordre des mots plus finement.
Appuie sur Run pour noter une prédiction face à une référence.
Écris token_f1(pred, gold) qui calcule le F1 des deux ensembles de tokens en minuscules (précision = recouvrement / tokens de la prédiction, rappel = recouvrement / tokens de la référence, F1 = la moyenne harmonique), et renvoie 0.0 quand un côté est vide ou qu'il n'y a aucun recouvrement. Écris rouge_n(pred, gold, n) qui renvoie la part des n-grammes de la référence (tuples contigus de n tokens) présents dans la prédiction, et 0.0 quand la référence n'a aucun n-gramme.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.