Müfredat 246 dersinden 79. · Modül 6: Başlangıç ağırlıkları ve normalleştirme
Modül 6: Başlangıç ağırlıkları ve normalleştirme

BatchNorm sayılara ne yapar

Neden önemli BatchNorm 2015'te çok derin ağları eğitilebilir yaptı. Onu kurmadan önce sayılara ne yaptığını gör.

Gör

Animasyonu oynat. Bir katmanın çıktıları özellik başına kendi ortalama ve yayılımlarıyla gelir, bazıları dev, bazıları minicik, bazıları kaymış. BatchNorm her özelliği alır, mevcut batch üzerinden ortalamasını çıkarır ve yayılımına böler. Artık her özelliğin ortalaması 0 ve yayılımı 1'dir. Sonra öğrenilmiş bir gamma ile çarpar ve öğrenilmiş bir beta ekler, böylece ağ işe yararsa farklı bir ölçek seçebilir.

Dürüst bir not: BatchNorm'un neden yardım ettiği hâlâ tartışılıyor. Orijinal makalenin açıklaması ("internal covariate shift") artık kabul gören açıklama değil; daha düzgün kayıp yüzeyleri ve daha büyük öğrenme oranlarına izin vermek daha iyi desteklenen nedenler. Sayılara ne yaptığı ise tartışmasız.

BatchNorm: her özelliği mevcut batch'in istatistikleriyle normalleştir, sonra öğrenilmiş gamma ve beta ile yeniden ölçekle.

Bu dersteki kelimeler ve semboller
Xavier, LeCun, He
başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
BatchNorm (gamma, beta)
her özelliği batch üzerinde normalleştir, sonra öğrenilmiş gamma ve beta ile yeniden ölçekle
Senin sıran

Hesaplamadan önce tahmin et: bir özelliğin bir batch'te [2, 4, 6, 8] değerleri var, gamma 3 ve beta 1. my_output değerini BatchNorm'un ürettiği dört sayıya ayarla (eps = 0 kullan). Sonra 2B bir batch için batchnorm_forward(X, gamma, beta, eps=1e-5) yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.