Çok küçük, çok büyük: kaybolma ve patlama
Neden önemli Kaybolmuş bir sinyal her gradyanın neredeyse sıfır olduğu ve eğitimin durduğu anlamına gelir. Patlamış bir sinyal taşma ve nan demektir. İkisi de başlangıç ağırlıklarından gelir.
Gör
Animasyonu oynat: aynı 20 katmanlık yığın üç şekilde başlatılmış. Çok küçük, ve sinyal katman katman sönüp hiçliğe gider. Çok büyük, ve taşana kadar iki katına çıkıp durur. Tam kararında, ve baştan sona sabit kalır. Geri dönüş yolundaki gradyan da aynı kaderi yaşar.
Kaybolma: aktivasyonların ya da gradyanların katmanlar boyunca sıfıra doğru küçülmesi. Patlama: sınırsız büyümesi.
Bu dersteki kelimeler ve semboller
- kaybolma, patlama
- sinyallerin ya da gradyanların katmanlar boyunca hiçliğe küçülmesi ya da sınırsız büyümesi
- Xavier, LeCun, He
- başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
Son dersteki spreads fonksiyonunu kullanarak (hazır veriliyor), son yayılım 1e-3'ün altındaysa "vanish", 1e3'ün üstündeyse "explode", değilse "ok" döndüren verdict(scale) yaz. Sonra çalıştırmadan önce 0.05, 0.14 ve 0.5 ölçekleri için my_predictions doldur.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.