Silabus Pelajaran 235 dari 246 · Modul 22: Menilai klaim
Modul 22: Menilai klaim

Gerbang: tinjau klaim (AI mati)

Kenapa ini penting Membaca hasil secara kritis adalah keahlian yang akan kamu gunakan di setiap paper, model card, dan tabel benchmark. Aturannya sederhana; menerapkannya setiap saat, tanpa perlu diberi tahu mana yang penting, adalah keahliannya.

Aturan

Gate: tutor AI mati. Tulis review(claim). Sebuah klaim mengatakan "model A mengalahkan model B" dan disertai dengan loss dari setiap seed dari setiap model dan bagian dari test set yang ditemukan di dalam training data. Berurutan:

  1. Jika lebih dari 10% dari test set ada di training data, kembalikan "leaked": tidak ada skor yang bisa dipercaya.
  2. Jika salah satu model punya kurang dari 2 seeds, kembalikan "not shown": the spread is unknown.
  3. Misalkan diff = mean(B) - mean(A) (positif jika A lebih baik) dan se = sqrt(var(A) / nA + var(B) / nB), varians sampel (ddof=1). Kembalikan "shown" jika diff > 2 se, "contradicted" jika diff < -2 se, jika tidak "not shown".

Pengecekan menjalankan fungsi kamu pada enam klaim baru, berbeda di setiap pengecekan, termasuk kasus tepi: satu seed, tepat 10% overlap, seed yang setuju persis.

Kata dan simbol di pelajaran ini
kontaminasi (kebocoran)
item uji yang juga ada di data pelatihan
seed
angka yang menentukan pilihan acak sebuah run; seed lain memberikan hasil lain
Giliranku

Isi review. Coba di {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (lebar yang tercatat 1024 dan 512 pada 1,5 juta token).

AI mati: tidak ada tutor, petunjuk atau solusi lengkap untuk yang ini. Hanya pemikiranmu sendiri.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.