Satu benih adalah sebuah anekdot
Kenapa ini penting Melatih model yang sama dua kali dengan random seeds yang berbeda memberikan hasil yang berbeda. Perbedaan antara dua model yang lebih kecil dari rentang tersebut bukan sebuah hasil, dan satu kali jalan tidak bisa memberitahumu seberapa besar rentangnya.
A klaim: "pada 8,000 token, width 1024 mengalahkan width 512", didukung oleh satu kali jalan masing-masing (seed 0: 2.793 melawan 2.799). Kursus ini mencatat 3 seed untuk masing-masing.
Aturan sederhana untuk "A mengalahkan B" dengan beberapa seed masing-masing: ambil selisih rata-ratanya, dan standard error (seberapa besar selisih itu akan berubah jika kamu menjalankan ulang seed), sqrt(var(A) / nA + var(B) / nB)dengan varians sampel (ddof=1). Tampilkan jika selisihnya lebih dari 2 standard error. judge.standard_error(a, b)Menghitungnya.
Prediksi dulu: dengan tiga seed, apakah width 1024 masih mengalahkan 512 pada 8,000 token?
Kata dan simbol di pelajaran ini
- seed
- angka yang menentukan pilihan acak sebuah run; seed lain memberikan hasil lain
- kesalahan standar
- seberapa besar perbedaan yang terukur akan berubah jika seed dijalankan ulang
Atur my_guess ke "yes" atau "no". Untuk 8,000 dan 1,500,000 token, isi diff[tokens] (rata-rata loss lebar 512 dikurangi rata-rata loss lebar 1024: positif berarti 1024 lebih baik) dan two_se[tokens]. Atur verdict[tokens] ke "shown" atau "not shown".
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.