Jebakan train/eval
Kenapa ini penting Model yang skornya bagus saat testing tapi buruk saat digunakan, tanpa alasan yang jelas, sangat sering disebabkan oleh bug ini. Ini sudah menipu para engineer berpengalaman.
Klasifikasi kecil punya layer BatchNorm. Ini sudah dilatih dengan benar dan rata-rata jalannya bagus. Pada set pengujian, dinilai dalam batch besar, hasilnya bagus. Digunakan pada satu contoh sekaligus, hasilnya sering salah.
Kerjakan detektif dulu: cetak apa yang dikeluarkan layer BatchNorm untuk dua contoh berbeda, dan tanya ke dirimu sendiri statistik apa yang digunakan untuk normalisasi. Cari tahu dari apa yang kamu cetak; tiga petunjuk akan membantumu jika kamu merasa buntu.
Kata dan simbol di pelajaran ini
- Xavier, LeCun, He
- memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
- BatchNorm (gamma, beta)
- normalisasikan setiap fitur di atas batch, lalu skala ulang dengan gamma dan beta yang dipelajari
predict_one(x) digunakan pada satu contoh saja dalam satu waktu, dan akurasinya buruk. Cari tahu kenapa, lalu perbaiki predict_one agar akurasi held-out setidaknya 90%. Atur cause ke frasa pendek yang menyebutkan penyebabnya.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.