Sobreposição estilo Token-F1 & ROUGE
Exact-match é brutal em qualquer coisa maior que um rótulo. Pergunte a um modelo "Quem pintou a Mona Lisa e quando?" e o ouro é "Leonardo da Vinci, por volta de 1503". O modelo diz "Foi pintado por Leonardo da Vinci por volta de 1503". Exact-match dá zero para isso. É obviamente uma boa resposta. Para respostas de texto livre você precisa de pontuação partial-credit, e as duas ferramentas padrão são token-F1 e ROUGE.
Token-F1 trata cada resposta como um saco de palavras e pergunta o quanto elas se sobrepõem. Coloque em minúsculas, divida pelo espaço em branco e compare os dois conjuntos de tokens:
- precision = (tokens em ambos) / (tokens na predição) -> penaliza preencher a resposta com lixo.
- recall = (tokens em ambos) / (tokens no gold) -> penaliza deixar de fora as palavras do gold.
- F1 = a média harmônica,
2 * P * R / (P + R)-> um número que pune ser fraco em qualquer um dos lados.
Strings idênticas pontuam 1.0; respostas que não compartilham palavras pontuam 0.0. Faça um manualmente: predição "the cat ran", gold "the dog sat". O único token compartilhado é the, então a precisão é 1/3, a revocação é 1/3, e o F1 é 1/3.
ROUGE-N é a métrica sobre a qual o resumo é avaliado. Em vez de palavras únicas, ele conta n-grams (sequências contíguas de n tokens) e relata recall: dos n-grams no padrão ouro, quantos aparecem na previsão?
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]Para o gold "the cat sat on" e a predição "the cat sat": os quatro unigramas do gold são the, cat, sat, on; três aparecem, então o ROUGE-1 é 3/4. Os três bigramas do gold são (the,cat), (cat,sat), (sat,on); dois aparecem, então o ROUGE-2 é 2/3. O ROUGE-2 é geralmente menor que o ROUGE-1 porque combinar a ordem order é mais difícil do que combinar palavras, que é exatamente por que você relata ambos.
O que construir.
token_f1(pred, gold)-> o F1 sobre o token em minúsculo sets; retorne0.0se qualquer lado estiver vazio ou se não houver sobreposição (nunca divida por zero).rouge_n(pred, gold, n)-> a fração dos n-grams do gold que aparecem na predição;0.0quando o gold não tem n-grams.
Como isso difere da biblioteca. Para o ensino nós pontuamos sobre o conjunto de tokens sets, então uma palavra repetida conta uma vez. O token de produção F1 (estilo SQuAD) usa contagens de multiset, então duplicatas são ponderadas, e o ROUGE real adiciona ROUGE-L, que pontua a subsequência comum mais longa em vez de n-grams fixos. A ideia é a mesma; as versões de produção apenas contam duplicatas e a ordem das palavras com mais cuidado.
Pressione Run para comparar uma previsão com uma referência.
Escreva token_f1(pred, gold) calculando o F1 dos dois conjuntos de tokens em minúsculas (precision = overlap / prediction-tokens, recall = overlap / gold-tokens, F1 = a média harmônica), retornando 0.0 quando qualquer lado estiver vazio ou não houver sobreposição. Escreva rouge_n(pred, gold, n) retornando a fração dos n-grams do gold (tuplas de n-tokens contíguos) que aparecem na predição, retornando 0.0 quando o gold não tiver n-grams.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.