Müfredat 246 dersinden 78. · Modül 6: Başlangıç ağırlıkları ve normalleştirme
Modül 6: Başlangıç ağırlıkları ve normalleştirme

Ölü ReLU'lar

Neden önemli Her girdi için kapalı olan bir ReLU hiç gradyan geçirmez, bu yüzden bir daha asla öğrenmez. Bütün katmanlar sessizce ölebilir.

Bir birimin çıktısı bir batch'teki her örnek için sıfırsa birim ölüdür. Yaygın nedenler: büyük negatif bir sapma, ya da ağırlıklarını çok negatife iten tek bir dev güncelleme.

Küçük sayılar

4 örnek ve 3 birim için aktivasyonlar: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. 1. birim her yerde sıfır: ölü. 3. birim bir kez ateşledi: canlı. Ölü oranı: 3'te 1.

Çözümler: makul başlangıç ağırlıkları, 0'dan (ya da biraz pozitiften) başlayan sapmalar, daha küçük bir öğrenme oranı, ya da birimin toparlanabilmesi için negatif girdiler için küçük bir eğim (diyelim 0.01) tutan sızdıran ReLU.

Bu dersteki kelimeler ve semboller
Xavier, LeCun, He
başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
Senin sıran

Bir aktivasyon matrisi (örnekler çarpı birimler) için dead_fraction(H) yaz. Sonra aşağıdaki, -4 sapmalarla başlatılmış katman için, aynı ağırlıkları tutan ama sıfır sapma ve 0.01 eğimli bir sızdıran ReLU kullanan fixed_layer(X, W) yaz; ölü oranı (tam sıfır çıktıları sayarak) 0 olmalı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.