Silabus Pelajaran 167 dari 250 · Evaluasi & Pengujian LLM
Evaluasi & Pengujian LLM

Tumpang Tindih Gaya Token-F1 & ROUGE

Exact-match itu kejam buat apa pun yang lebih panjang dari label. Tanya ke model "Siapa yang melukis Mona Lisa dan kapan?" dan jawaban emasnya adalah "Leonardo da Vinci, sekitar 1503". Model menjawab "It was painted by Leonardo da Vinci in roughly 1503." Exact-match memberi skor nol untuk itu. Padahal itu jelas jawaban yang bagus. Untuk jawaban teks bebas kamu butuh penilaian partial-credit, dan dua alat standarnya adalah token-F1 dan ROUGE.

Token-F1 menganggap setiap jawaban sebagai kumpulan kata dan menanyakan seberapa banyak tumpang tindihnya. Ubah ke huruf kecil, pisahkan berdasarkan spasi, dan bandingkan kedua set token:

  • precision = (tokens di keduanya) / (tokens di prediksi) -> menghukum penambahan sampah pada jawaban.
  • recall = (tokens di keduanya) / (tokens di gold) -> menghukum jika melewatkan kata-kata di gold.
  • F1 = rata-rata harmonik, 2 * P * R / (P + R) -> satu angka yang menghukum kelemahan di sisi mana pun.

String yang identik skornya 1.0; jawaban yang tidak punya kata yang sama skornya 0.0. Kerjakan satu secara manual: prediksi "the cat ran", gold "the dog sat". Satu-satunya token yang sama adalah the, jadi presisi adalah 1/3, recall adalah 1/3, dan F1 adalah 1/3.

ROUGE-N adalah metrik ringkasan yang dinilai. Bukannya kata tunggal, ia menghitung n-grams (urutan berurutan dari n token) dan melaporkan recall: dari n-grams di gold, berapa banyak yang muncul di prediksi?

def ngrams(tokens, n):
    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]

Untuk gold "the cat sat on" dan prediksi "the cat sat": empat unigram gold adalah the, cat, sat, on; tiga muncul, jadi ROUGE-1 adalah 3/4. Tiga bigram gold adalah (the,cat), (cat,sat), (sat,on); dua muncul, jadi ROUGE-2 adalah 2/3. ROUGE-2 biasanya lebih rendah dari ROUGE-1 karena mencocokkan order lebih sulit daripada mencocokkan kata, itulah alasan tepatnya kenapa kamu melaporkan keduanya.

Apa yang akan dibangun.

  • token_f1(pred, gold) -> token F1 di atas huruf kecil sets; kembalikan 0.0 jika salah satu sisi kosong atau tidak ada tumpang tindih (jangan pernah bagi dengan nol).
  • rouge_n(pred, gold, n) -> bagian dari n-grams emas yang muncul dalam prediksi; 0.0 saat emas tidak punya n-grams.

Apa bedanya dengan library. Untuk pengajaran kita menghitung berdasarkan token sets, jadi kata yang berulang hanya dihitung sekali. Token produksi-F1 (gaya SQuAD) menggunakan hitungan multiset, jadi duplikat diberi bobot, dan ROUGE asli menambahkan ROUGE-L, yang menghitung urutan subsekuens terpanjang alih-alih n-gram tetap. Idenya sama; versi produksi hanya menghitung duplikat dan urutan kata dengan lebih teliti.

Tekan Run untuk mencocokkan prediksi dengan referensi.

Giliranku

Tulis token_f1(pred, gold) untuk menghitung F1 dari dua set token huruf kecil (precision = overlap / prediction-tokens, recall = overlap / gold-tokens, F1 = rata-rata harmonik), mengembalikan 0.0 jika salah satu sisi kosong atau tidak ada overlap. Tulis rouge_n(pred, gold, n) untuk mengembalikan fraksi n-gram gold (tuple n-token yang berurutan) yang muncul di prediction, mengembalikan 0.0 jika gold tidak memiliki n-gram.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.