Silabus Pelajaran 82 dari 246 · Modul 6: Bobot awal dan normalisasi
Modul 6: Bobot awal dan normalisasi

Jebakan train/eval

Kenapa ini penting Model yang skornya bagus saat testing tapi buruk saat digunakan, tanpa alasan yang jelas, sangat sering disebabkan oleh bug ini. Ini sudah menipu para engineer berpengalaman.

Klasifikasi kecil punya layer BatchNorm. Ini sudah dilatih dengan benar dan rata-rata jalannya bagus. Pada set pengujian, dinilai dalam batch besar, hasilnya bagus. Digunakan pada satu contoh sekaligus, hasilnya sering salah.

Kerjakan detektif dulu: cetak apa yang dikeluarkan layer BatchNorm untuk dua contoh berbeda, dan tanya ke dirimu sendiri statistik apa yang digunakan untuk normalisasi. Cari tahu dari apa yang kamu cetak; tiga petunjuk akan membantumu jika kamu merasa buntu.

Kata dan simbol di pelajaran ini
Xavier, LeCun, He
memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
BatchNorm (gamma, beta)
normalisasikan setiap fitur di atas batch, lalu skala ulang dengan gamma dan beta yang dipelajari
Giliranku

predict_one(x) digunakan pada satu contoh saja dalam satu waktu, dan akurasinya buruk. Cari tahu kenapa, lalu perbaiki predict_one agar akurasi held-out setidaknya 90%. Atur cause ke frasa pendek yang menyebutkan penyebabnya.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.