Ölü ReLU'lar
Neden önemli Her girdi için kapalı olan bir ReLU hiç gradyan geçirmez, bu yüzden bir daha asla öğrenmez. Bütün katmanlar sessizce ölebilir.
Bir birimin çıktısı bir batch'teki her örnek için sıfırsa birim ölüdür. Yaygın nedenler: büyük negatif bir sapma, ya da ağırlıklarını çok negatife iten tek bir dev güncelleme.
Küçük sayılar
4 örnek ve 3 birim için aktivasyonlar: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. 1. birim her yerde sıfır: ölü. 3. birim bir kez ateşledi: canlı. Ölü oranı: 3'te 1.
Çözümler: makul başlangıç ağırlıkları, 0'dan (ya da biraz pozitiften) başlayan sapmalar, daha küçük bir öğrenme oranı, ya da birimin toparlanabilmesi için negatif girdiler için küçük bir eğim (diyelim 0.01) tutan sızdıran ReLU.
Bu dersteki kelimeler ve semboller
- Xavier, LeCun, He
- başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
Bir aktivasyon matrisi (örnekler çarpı birimler) için dead_fraction(H) yaz. Sonra aşağıdaki, -4 sapmalarla başlatılmış katman için, aynı ağırlıkları tutan ama sıfır sapma ve 0.01 eğimli bir sızdıran ReLU kullanan fixed_layer(X, W) yaz; ölü oranı (tam sıfır çıktıları sayarak) 0 olmalı.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.