Müfredat 246 dersinden 75. · Modül 6: Başlangıç ağırlıkları ve normalleştirme
Modül 6: Başlangıç ağırlıkları ve normalleştirme

20 katman boyunca sinyaller

Neden önemli Derin bir ağ bir şey öğrenmeden önce, sinyal her katmandan geçen yolculuğu atlatmalıdır. Çoğu zaman atlatamaz, ve hiçbir optimizasyoncu bunu düzeltemez.

Bir rastgele girdi batch'ini, her ağırlığı belli bir yayılımda normal dağılımdan çekilmiş 20 katmanlık h = relu(h @ W) boyunca it. Her katmandan sonra aktivasyonların yayılımını (standart sapmasını) ölç.

Küçük sayılar

Her katman sinyalin tipik boyutunu aşağı yukarı aynı çarpanla çarpar. Bu çarpan 0.5 ise, 20 katmandan sonra sinyal 0.5 üssü 20'dir: yaklaşık milyonda bir. 2 ise, yaklaşık bir milyon kat büyüktür. Yalnızca 1'e yakın bir çarpan hayatta kalır.

Özet Derinlik katman başına küçük değişimleri dev değişimlere çevirir.

Bu dersteki kelimeler ve semboller
Xavier, LeCun, He
başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
Senin sıran

spreads(scale, depth=20, width=100, seed=0) yaz: h = rng.standard_normal((256, width)) ile başla, sonra her katman için W = rng.normal(0, scale, (width, width)) çek ve h = relu(h @ W) ayarla. Her katmandan sonraki h.std() listesini döndür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.