Müfredat 246 dersinden 76. · Modül 6: Başlangıç ağırlıkları ve normalleştirme
Modül 6: Başlangıç ağırlıkları ve normalleştirme

Çok küçük, çok büyük: kaybolma ve patlama

Neden önemli Kaybolmuş bir sinyal her gradyanın neredeyse sıfır olduğu ve eğitimin durduğu anlamına gelir. Patlamış bir sinyal taşma ve nan demektir. İkisi de başlangıç ağırlıklarından gelir.

Gör

Animasyonu oynat: aynı 20 katmanlık yığın üç şekilde başlatılmış. Çok küçük, ve sinyal katman katman sönüp hiçliğe gider. Çok büyük, ve taşana kadar iki katına çıkıp durur. Tam kararında, ve baştan sona sabit kalır. Geri dönüş yolundaki gradyan da aynı kaderi yaşar.

Kaybolma: aktivasyonların ya da gradyanların katmanlar boyunca sıfıra doğru küçülmesi. Patlama: sınırsız büyümesi.

Bu dersteki kelimeler ve semboller
kaybolma, patlama
sinyallerin ya da gradyanların katmanlar boyunca hiçliğe küçülmesi ya da sınırsız büyümesi
Xavier, LeCun, He
başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
Senin sıran

Son dersteki spreads fonksiyonunu kullanarak (hazır veriliyor), son yayılım 1e-3'ün altındaysa "vanish", 1e3'ün üstündeyse "explode", değilse "ok" döndüren verdict(scale) yaz. Sonra çalıştırmadan önce 0.05, 0.14 ve 0.5 ölçekleri için my_predictions doldur.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.