Gerbang: tinjau klaim (AI mati)
Kenapa ini penting Membaca hasil secara kritis adalah keahlian yang akan kamu gunakan di setiap paper, model card, dan tabel benchmark. Aturannya sederhana; menerapkannya setiap saat, tanpa perlu diberi tahu mana yang penting, adalah keahliannya.
Gate: tutor AI mati. Tulis review(claim). Sebuah klaim mengatakan "model A mengalahkan model B" dan disertai dengan loss dari setiap seed dari setiap model dan bagian dari test set yang ditemukan di dalam training data. Berurutan:
- Jika lebih dari 10% dari test set ada di training data, kembalikan "leaked": tidak ada skor yang bisa dipercaya.
- Jika salah satu model punya kurang dari 2 seeds, kembalikan "not shown": the spread is unknown.
- Misalkan diff = mean(B) - mean(A) (positif jika A lebih baik) dan se = sqrt(var(A) / nA + var(B) / nB), varians sampel (
ddof=1). Kembalikan "shown" jika diff > 2 se, "contradicted" jika diff < -2 se, jika tidak "not shown".
Pengecekan menjalankan fungsi kamu pada enam klaim baru, berbeda di setiap pengecekan, termasuk kasus tepi: satu seed, tepat 10% overlap, seed yang setuju persis.
Kata dan simbol di pelajaran ini
- kontaminasi (kebocoran)
- item uji yang juga ada di data pelatihan
- seed
- angka yang menentukan pilihan acak sebuah run; seed lain memberikan hasil lain
Isi review. Coba di {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (lebar yang tercatat 1024 dan 512 pada 1,5 juta token).
AI mati: tidak ada tutor, petunjuk atau solusi lengkap untuk yang ini. Hanya pemikiranmu sendiri.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.