Silabus Pelajaran 78 dari 246 · Modul 6: Bobot awal dan normalisasi
Modul 6: Bobot awal dan normalisasi

Dead ReLUs

Kenapa ini penting ReLU yang mati untuk setiap input tidak melewatkan gradien, jadi ia tidak akan pernah belajar lagi. Seluruh layer bisa mati begitu saja.

Unit

dianggap mati jika outputnya nol untuk setiap contoh dalam batch. Penyebab umum: bias negatif yang besar, atau satu pembaruan besar yang mendorong bobotnya jauh ke arah negatif.

Angka kecil

Aktivasi untuk 4 contoh dan 3 unit: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. Unit 1 nol di mana-mana: mati. Unit 3 aktif sekali: hidup. Fraksi mati: 1 dari 3.

Perbaikan: bobot awal yang masuk akal, bias mulai dari 0 (atau sedikit positif), learning rate yang lebih kecil, atau leaky ReLU, yang menjaga kemiringan kecil (misalnya 0.01) untuk input negatif agar unit bisa pulih.

Kata dan simbol di pelajaran ini
Xavier, LeCun, He
memulai spread sqrt(2 / (inputs + outputs)) atau 1 / sqrt(inputs) untuk tanh, dan sqrt(2 / inputs) untuk ReLU
Giliranku

Tulis dead_fraction(H) untuk matriks aktivasi (contoh berdasarkan unit). Lalu, untuk lapisan di bawahnya, yang dimulai dengan bias -4, tulis fixed_layer(X, W) yang mempertahankan bobot yang sama tapi menggunakan bias nol dan leaky ReLU dengan slope 0.01; fraksi mati (menghitung output yang tepat nol) harus 0.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.