Dead ReLUs
Kenapa ini penting ReLU yang mati untuk setiap input tidak melewatkan gradien, jadi ia tidak akan pernah belajar lagi. Seluruh layer bisa mati begitu saja.
dianggap mati jika outputnya nol untuk setiap contoh dalam batch. Penyebab umum: bias negatif yang besar, atau satu pembaruan besar yang mendorong bobotnya jauh ke arah negatif.
Angka kecil
Aktivasi untuk 4 contoh dan 3 unit: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. Unit 1 nol di mana-mana: mati. Unit 3 aktif sekali: hidup. Fraksi mati: 1 dari 3.
Perbaikan: bobot awal yang masuk akal, bias mulai dari 0 (atau sedikit positif), learning rate yang lebih kecil, atau leaky ReLU, yang menjaga kemiringan kecil (misalnya 0.01) untuk input negatif agar unit bisa pulih.
Kata dan simbol di pelajaran ini
- Xavier, LeCun, He
- memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
Tulis dead_fraction(H) untuk matriks aktivasi (contoh berdasarkan unit). Lalu, untuk lapisan di bawahnya, yang dimulai dengan bias -4, tulis fixed_layer(X, W) yang mempertahankan bobot yang sama tapi menggunakan bias nol dan leaky ReLU dengan slope 0.01; fraksi mati (menghitung output yang tepat nol) harus 0.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.