Conteúdo do curso Lição 167 de 250 · Avaliações e Testes de LLM
Avaliações e Testes de LLM

Sobreposição estilo Token-F1 & ROUGE

Exact-match é brutal em qualquer coisa maior que um rótulo. Pergunte a um modelo "Quem pintou a Mona Lisa e quando?" e o ouro é "Leonardo da Vinci, por volta de 1503". O modelo diz "Foi pintado por Leonardo da Vinci por volta de 1503". Exact-match dá zero para isso. É obviamente uma boa resposta. Para respostas de texto livre você precisa de pontuação partial-credit, e as duas ferramentas padrão são token-F1 e ROUGE.

Token-F1 trata cada resposta como um saco de palavras e pergunta o quanto elas se sobrepõem. Coloque em minúsculas, divida pelo espaço em branco e compare os dois conjuntos de tokens:

  • precision = (tokens em ambos) / (tokens na predição) -> penaliza preencher a resposta com lixo.
  • recall = (tokens em ambos) / (tokens no gold) -> penaliza deixar de fora as palavras do gold.
  • F1 = a média harmônica, 2 * P * R / (P + R) -> um número que pune ser fraco em qualquer um dos lados.

Strings idênticas pontuam 1.0; respostas que não compartilham palavras pontuam 0.0. Faça um manualmente: predição "the cat ran", gold "the dog sat". O único token compartilhado é the, então a precisão é 1/3, a revocação é 1/3, e o F1 é 1/3.

ROUGE-N é a métrica sobre a qual o resumo é avaliado. Em vez de palavras únicas, ele conta n-grams (sequências contíguas de n tokens) e relata recall: dos n-grams no padrão ouro, quantos aparecem na previsão?

def ngrams(tokens, n):
    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]

Para o gold "the cat sat on" e a predição "the cat sat": os quatro unigramas do gold são the, cat, sat, on; três aparecem, então o ROUGE-1 é 3/4. Os três bigramas do gold são (the,cat), (cat,sat), (sat,on); dois aparecem, então o ROUGE-2 é 2/3. O ROUGE-2 é geralmente menor que o ROUGE-1 porque combinar a ordem order é mais difícil do que combinar palavras, que é exatamente por que você relata ambos.

O que construir.

  • token_f1(pred, gold) -> o F1 sobre o token em minúsculo sets; retorne 0.0 se qualquer lado estiver vazio ou se não houver sobreposição (nunca divida por zero).
  • rouge_n(pred, gold, n) -> a fração dos n-grams do gold que aparecem na predição; 0.0 quando o gold não tem n-grams.

Como isso difere da biblioteca. Para o ensino nós pontuamos sobre o conjunto de tokens sets, então uma palavra repetida conta uma vez. O token de produção F1 (estilo SQuAD) usa contagens de multiset, então duplicatas são ponderadas, e o ROUGE real adiciona ROUGE-L, que pontua a subsequência comum mais longa em vez de n-grams fixos. A ideia é a mesma; as versões de produção apenas contam duplicatas e a ordem das palavras com mais cuidado.

Pressione Run para comparar uma previsão com uma referência.

Sua vez

Escreva token_f1(pred, gold) calculando o F1 dos dois conjuntos de tokens em minúsculas (precision = overlap / prediction-tokens, recall = overlap / gold-tokens, F1 = a média harmônica), retornando 0.0 quando qualquer lado estiver vazio ou não houver sobreposição. Escreva rouge_n(pred, gold, n) retornando a fração dos n-grams do gold (tuplas de n-tokens contíguos) que aparecem na predição, retornando 0.0 quando o gold não tiver n-grams.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.