Token-F1 e sovrapposizione in stile ROUGE
La corrispondenza esatta è brutale su tutto ciò che è più lungo di un'etichetta. Chiedi a un modello "Who painted the Mona Lisa and when?" e il riferimento è "Leonardo da Vinci, around 1503". Il modello dice "It was painted by Leonardo da Vinci in roughly 1503." La corrispondenza esatta gli dà zero. È ovviamente una buona risposta. Per le risposte in testo libero ti serve un punteggio con credito parziale, e i due strumenti standard sono il token-F1 e il ROUGE.
Il token-F1 tratta ogni risposta come un sacco di parole e chiede quanto si sovrappongono. Metti in minuscolo, dividi sugli spazi, e confronta i due insiemi di token:
- precision = (token in entrambe) / (token nella previsione) -> penalizza il riempire la risposta di spazzatura.
- recall = (token in entrambe) / (token nel riferimento) -> penalizza il lasciare fuori le parole del riferimento.
- F1 = la media armonica,
2 * P * R / (P + R)-> un solo numero che punisce l'essere deboli da una qualsiasi delle due parti.
Stringhe identiche valgono 1.0; risposte che non condividono nessuna parola valgono 0.0. Facciamone uno a mano: previsione "the cat ran", riferimento "the dog sat". L'unico token in comune è the, quindi la precision è 1/3, la recall è 1/3, e l'F1 è 1/3.
Il ROUGE-N è la metrica con cui si valutano i riassunti. Invece di singole parole conta gli n-grammi sovrapposti (sequenze contigue di n token) e riporta la recall: degli n-grammi del riferimento, quanti compaiono nella previsione?
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]Per il riferimento "the cat sat on" e la previsione "the cat sat": i quattro unigrammi del riferimento sono the, cat, sat, on; ne compaiono tre, quindi il ROUGE-1 è 3/4. I tre bigrammi del riferimento sono (the,cat), (cat,sat), (sat,on); ne compaiono due, quindi il ROUGE-2 è 2/3. Il ROUGE-2 di solito è più basso del ROUGE-1 perché far corrispondere l'ordine delle parole è più difficile che far corrispondere le parole, ed è proprio per questo che li riporti entrambi.
Che cosa costruire.
token_f1(pred, gold)-> l'F1 sugli insiemi di token in minuscolo; restituisci0.0se una delle due parti è vuota o non c'è sovrapposizione (non dividere mai per zero).rouge_n(pred, gold, n)-> la frazione degli n-grammi del riferimento che compaiono nella previsione;0.0quando il riferimento non ha n-grammi.
In che cosa differisce dalla libreria. Per insegnare valutiamo sugli insiemi di token, quindi una parola ripetuta conta una volta. Il token-F1 di produzione (in stile SQuAD) usa conteggi con ripetizioni, quindi i doppioni hanno un peso, e il ROUGE vero aggiunge il ROUGE-L, che valuta la più lunga sottosequenza comune invece di n-grammi fissi. L'idea è la stessa; le versioni di produzione contano solo con più cura i doppioni e l'ordine delle parole.
Premi Run per valutare una previsione rispetto a un riferimento.
Scrivi token_f1(pred, gold) che calcola l'F1 dei due insiemi di token in minuscolo (precision = sovrapposizione / token della previsione, recall = sovrapposizione / token del riferimento, F1 = la media armonica), restituendo 0.0 quando una delle due parti è vuota o non c'è sovrapposizione. Scrivi rouge_n(pred, gold, n) che restituisce la frazione degli n-grammi del riferimento (tuple contigue di n token) che compaiono nella previsione, restituendo 0.0 quando il riferimento non ha n-grammi.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.