Token-F1 ve ROUGE tarzı Örtüşme
Tam eşleşme, bir etiketten daha uzun olan her şey için çok acımasızdır. Bir modele "Mona Lisa'yı kim ve ne zaman boyadı?" diye sor ve altın cevap "Leonardo da Vinci, yaklaşık 1503" olsun. Model "Yaklaşık 1503 yılında Leonardo da Vinci tarafından boyandı." diyor. Tam eşleşme buna sıfır puan verir. Bu açıkça iyi bir cevap. Serbest metin cevapları için partial-credit puanlamasına ihtiyacın var ve iki standart araç token-F1 ve ROUGE.
Token-F1 her cevabı bir kelime torbası olarak ele alır ve ne kadar örtüştüklerini sorar. Küçük harfe çevir, boşluklardan ayır ve iki token kümesini karşılaştır:
- precision = (her ikisinde de olan tokenlar) / (tahmindeki tokenlar) -> cevabı gereksiz bilgilerle doldurmayı cezalandırır.
- recall = (her ikisinde de bulunan tokenlar) / (gold içindeki tokenlar) -> gold kelimelerini dışarıda bırakmayı cezalandırır.
- F1 = harmonik ortalama,
2 * P * R / (P + R)-> her iki tarafta da zayıf kalmayı cezalandıran tek bir sayı.
Özdeş dizeler 1.0 puan alır; ortak kelime içermeyen cevaplar 0.0 puan alır. Bir tanesini elle yap: tahmin "the cat ran", altın standart "the dog sat". Tek ortak token the, bu yüzden precision 1/3, recall 1/3 ve F1 1/3.
ROUGE-N metriksel özetleme üzerinden notlandırılır. Tekil kelimeler yerine çakışan n-grams (ardışık n token dizileri) sayar ve recall raporlar: altın standarttaki n-gramlardan kaç tanesi tahminde görünüyor?
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]Altın "the cat sat on" ve tahmin "the cat sat" için: altının dört unigramı the, cat, sat, on; üçü görünüyor, bu yüzden ROUGE-1 3/4. Altının üç bigramı (the,cat), (cat,sat), (sat,on); ikisi görünüyor, bu yüzden ROUGE-2 2/3. ROUGE-2 genellikle ROUGE-1 değerinden daha düşüktür çünkü order eşleştirmek kelimeleri eşleştirmekten daha zordur, her ikisini raporlamanın sebebi de tam olarak budur.
Ne yapacağın.
token_f1(pred, gold)-> Küçük harf tokeni sets üzerindeki F1.0.0döndür; ya bir taraf boşsa ya da çakışma yoksa (asla sıfıra bölme).rouge_n(pred, gold, n)-> tahmin içinde yer alan altın n-gramlarının oranı; altın n-gram içermediğinde0.0.
Bunun kütüphaneden farkı nedir. Eğitim için token sets üzerinden puan veriyoruz, bu yüzden tekrar eden bir kelime bir kez sayılır. Üretim token-F1 (SQuAD stili) çoklu küme sayılarını kullanır, bu yüzden kopyalar ağırlıklandırılır ve gerçek ROUGE, sabit n-gramler yerine en uzun ortak alt diziyi puanlayan ROUGE-L ekler. Fikir aynıdır; üretim versiyonları sadece kopyaları ve kelime sırasını daha dikkatli sayar.
Run bir tahmini referansa karşı puanlamak için bas.
İki küçük harfli token kümesinin F1 skorunu hesaplayan token_f1(pred, gold) yaz. (precision = overlap / prediction-tokens, recall = overlap / gold-tokens, F1 = harmonik ortalama). Herhangi bir taraf boşsa veya örtüşme yoksa 0.0 döndür. Gold kümesinin prediction içinde geçen n-gramlarının (ardışık n-token demetleri) oranını döndüren rouge_n(pred, gold, n) yaz. Gold kümesinde n-gram yoksa 0.0 döndür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.