Programma Lezione 167 di 250 · Valutazioni e test degli LLM
Valutazioni e test degli LLM

Token-F1 e sovrapposizione in stile ROUGE

La corrispondenza esatta è brutale su tutto ciò che è più lungo di un'etichetta. Chiedi a un modello "Who painted the Mona Lisa and when?" e il riferimento è "Leonardo da Vinci, around 1503". Il modello dice "It was painted by Leonardo da Vinci in roughly 1503." La corrispondenza esatta gli dà zero. È ovviamente una buona risposta. Per le risposte in testo libero ti serve un punteggio con credito parziale, e i due strumenti standard sono il token-F1 e il ROUGE.

Il token-F1 tratta ogni risposta come un sacco di parole e chiede quanto si sovrappongono. Metti in minuscolo, dividi sugli spazi, e confronta i due insiemi di token:

  • precision = (token in entrambe) / (token nella previsione) -> penalizza il riempire la risposta di spazzatura.
  • recall = (token in entrambe) / (token nel riferimento) -> penalizza il lasciare fuori le parole del riferimento.
  • F1 = la media armonica, 2 * P * R / (P + R) -> un solo numero che punisce l'essere deboli da una qualsiasi delle due parti.

Stringhe identiche valgono 1.0; risposte che non condividono nessuna parola valgono 0.0. Facciamone uno a mano: previsione "the cat ran", riferimento "the dog sat". L'unico token in comune è the, quindi la precision è 1/3, la recall è 1/3, e l'F1 è 1/3.

Il ROUGE-N è la metrica con cui si valutano i riassunti. Invece di singole parole conta gli n-grammi sovrapposti (sequenze contigue di n token) e riporta la recall: degli n-grammi del riferimento, quanti compaiono nella previsione?

def ngrams(tokens, n):
    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]

Per il riferimento "the cat sat on" e la previsione "the cat sat": i quattro unigrammi del riferimento sono the, cat, sat, on; ne compaiono tre, quindi il ROUGE-1 è 3/4. I tre bigrammi del riferimento sono (the,cat), (cat,sat), (sat,on); ne compaiono due, quindi il ROUGE-2 è 2/3. Il ROUGE-2 di solito è più basso del ROUGE-1 perché far corrispondere l'ordine delle parole è più difficile che far corrispondere le parole, ed è proprio per questo che li riporti entrambi.

Che cosa costruire.

  • token_f1(pred, gold) -> l'F1 sugli insiemi di token in minuscolo; restituisci 0.0 se una delle due parti è vuota o non c'è sovrapposizione (non dividere mai per zero).
  • rouge_n(pred, gold, n) -> la frazione degli n-grammi del riferimento che compaiono nella previsione; 0.0 quando il riferimento non ha n-grammi.

In che cosa differisce dalla libreria. Per insegnare valutiamo sugli insiemi di token, quindi una parola ripetuta conta una volta. Il token-F1 di produzione (in stile SQuAD) usa conteggi con ripetizioni, quindi i doppioni hanno un peso, e il ROUGE vero aggiunge il ROUGE-L, che valuta la più lunga sottosequenza comune invece di n-grammi fissi. L'idea è la stessa; le versioni di produzione contano solo con più cura i doppioni e l'ordine delle parole.

Premi Run per valutare una previsione rispetto a un riferimento.

Tocca a te

Scrivi token_f1(pred, gold) che calcola l'F1 dei due insiemi di token in minuscolo (precision = sovrapposizione / token della previsione, recall = sovrapposizione / token del riferimento, F1 = la media armonica), restituendo 0.0 quando una delle due parti è vuota o non c'è sovrapposizione. Scrivi rouge_n(pred, gold, n) che restituisce la frazione degli n-grammi del riferimento (tuple contigue di n token) che compaiono nella previsione, restituendo 0.0 quando il riferimento non ha n-grammi.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.