20 katman boyunca sinyaller
Neden önemli Derin bir ağ bir şey öğrenmeden önce, sinyal her katmandan geçen yolculuğu atlatmalıdır. Çoğu zaman atlatamaz, ve hiçbir optimizasyoncu bunu düzeltemez.
Bir rastgele girdi batch'ini, her ağırlığı belli bir yayılımda normal dağılımdan çekilmiş 20 katmanlık h = relu(h @ W) boyunca it. Her katmandan sonra aktivasyonların yayılımını (standart sapmasını) ölç.
Küçük sayılar
Her katman sinyalin tipik boyutunu aşağı yukarı aynı çarpanla çarpar. Bu çarpan 0.5 ise, 20 katmandan sonra sinyal 0.5 üssü 20'dir: yaklaşık milyonda bir. 2 ise, yaklaşık bir milyon kat büyüktür. Yalnızca 1'e yakın bir çarpan hayatta kalır.
Özet Derinlik katman başına küçük değişimleri dev değişimlere çevirir.
Bu dersteki kelimeler ve semboller
- Xavier, LeCun, He
- başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
spreads(scale, depth=20, width=100, seed=0) yaz: h = rng.standard_normal((256, width)) ile başla, sonra her katman için W = rng.normal(0, scale, (width, width)) çek ve h = relu(h @ W) ayarla. Her katmandan sonraki h.std() listesini döndür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.