BatchNorm sayılara ne yapar
Neden önemli BatchNorm 2015'te çok derin ağları eğitilebilir yaptı. Onu kurmadan önce sayılara ne yaptığını gör.
Gör
Animasyonu oynat. Bir katmanın çıktıları özellik başına kendi ortalama ve yayılımlarıyla gelir, bazıları dev, bazıları minicik, bazıları kaymış. BatchNorm her özelliği alır, mevcut batch üzerinden ortalamasını çıkarır ve yayılımına böler. Artık her özelliğin ortalaması 0 ve yayılımı 1'dir. Sonra öğrenilmiş bir gamma ile çarpar ve öğrenilmiş bir beta ekler, böylece ağ işe yararsa farklı bir ölçek seçebilir.
Dürüst bir not: BatchNorm'un neden yardım ettiği hâlâ tartışılıyor. Orijinal makalenin açıklaması ("internal covariate shift") artık kabul gören açıklama değil; daha düzgün kayıp yüzeyleri ve daha büyük öğrenme oranlarına izin vermek daha iyi desteklenen nedenler. Sayılara ne yaptığı ise tartışmasız.
BatchNorm: her özelliği mevcut batch'in istatistikleriyle normalleştir, sonra öğrenilmiş gamma ve beta ile yeniden ölçekle.
Bu dersteki kelimeler ve semboller
- Xavier, LeCun, He
- başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
- BatchNorm (gamma, beta)
- her özelliği batch üzerinde normalleştir, sonra öğrenilmiş gamma ve beta ile yeniden ölçekle
Hesaplamadan önce tahmin et: bir özelliğin bir batch'te [2, 4, 6, 8] değerleri var, gamma 3 ve beta 1. my_output değerini BatchNorm'un ürettiği dört sayıya ayarla (eps = 0 kullan). Sonra 2B bir batch için batchnorm_forward(X, gamma, beta, eps=1e-5) yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.