Programme Leçon 167 sur 250 · Évaluer et tester les LLM
Évaluer et tester les LLM

Token-F1 et recouvrement façon ROUGE

L'exact-match est brutal sur tout ce qui dépasse une étiquette. Demande à un modèle "Who painted the Mona Lisa and when?" avec pour référence "Leonardo da Vinci, around 1503". Le modèle répond "It was painted by Leonardo da Vinci in roughly 1503." L'exact-match lui donne zéro. C'est pourtant clairement une bonne réponse. Pour les réponses en texte libre, il te faut un score à crédit partiel, et les deux outils standard sont le token-F1 et ROUGE.

Le token-F1 traite chaque réponse comme un sac de mots et mesure leur recouvrement. Passe en minuscules, découpe sur les espaces, et compare les deux ensembles de tokens :

  • précision = (tokens communs) / (tokens de la prédiction) -> pénalise une réponse remplie de bruit.
  • rappel = (tokens communs) / (tokens de la référence) -> pénalise les mots de la référence oubliés.
  • F1 = la moyenne harmonique, 2 * P * R / (P + R) -> un seul chiffre qui punit une faiblesse d'un côté comme de l'autre.

Des chaînes identiques valent 1.0 ; des réponses sans mot commun valent 0.0. Fais-en un à la main : prédiction "the cat ran", référence "the dog sat". Le seul token commun est the, donc la précision vaut 1/3, le rappel 1/3, et le F1 1/3.

ROUGE-N est la métrique qui sert à noter les résumés. Au lieu de mots isolés, elle compte les n-grammes communs (suites contiguës de n tokens) et donne le rappel : parmi les n-grammes de la référence, combien apparaissent dans la prédiction ?

def ngrams(tokens, n):
    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]

Pour la référence "the cat sat on" et la prédiction "the cat sat" : les quatre unigrammes de la référence sont the, cat, sat, on ; trois apparaissent, donc ROUGE-1 vaut 3/4. Les trois bigrammes de la référence sont (the,cat), (cat,sat), (sat,on) ; deux apparaissent, donc ROUGE-2 vaut 2/3. ROUGE-2 est en général plus bas que ROUGE-1 car retrouver l'ordre des mots est plus dur que retrouver les mots, et c'est justement pour ça qu'on donne les deux.

À construire.

  • token_f1(pred, gold) -> le F1 sur les ensembles de tokens en minuscules ; renvoie 0.0 si un côté est vide ou s'il n'y a aucun recouvrement (ne divise jamais par zéro).
  • rouge_n(pred, gold, n) -> la part des n-grammes de la référence qui apparaissent dans la prédiction ; 0.0 quand la référence n'a aucun n-gramme.

En quoi c'est différent de la bibliothèque. Pour l'apprentissage, on note sur des ensembles de tokens, donc un mot répété compte une fois. Le token-F1 de production (style SQuAD) compte avec des multiensembles, donc les doublons pèsent, et le vrai ROUGE ajoute ROUGE-L, qui note la plus longue sous-séquence commune au lieu de n-grammes fixes. L'idée est la même ; les versions de production comptent juste les doublons et l'ordre des mots plus finement.

Appuie sur Run pour noter une prédiction face à une référence.

À ton tour

Écris token_f1(pred, gold) qui calcule le F1 des deux ensembles de tokens en minuscules (précision = recouvrement / tokens de la prédiction, rappel = recouvrement / tokens de la référence, F1 = la moyenne harmonique), et renvoie 0.0 quand un côté est vide ou qu'il n'y a aucun recouvrement. Écris rouge_n(pred, gold, n) qui renvoie la part des n-grammes de la référence (tuples contigus de n tokens) présents dans la prédiction, et 0.0 quand la référence n'a aucun n-gramme.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.