3 sayılık bir batch üzerinde BatchNorm geri geçişi (isteğe bağlı)
Neden önemli Bu, Bölüm 1'deki en zor geri kuralıdır, ve isteğe bağlıdır. Dersi şu: her çıktı her girdiye bağlı olduğunda (ortalama ve yayılım aracılığıyla), gradyan fazladan terimler kazanır.
Önce 3'lük bir batch'le tek bir özellik üzerinde çalış. x_hat = (x - ortalama) / yayılım ve y = gamma x_hat + beta ile, x'e göre gradyan yalnızca gamma / yayılım çarpı gelen gradyan değildir. Bir x'i itmek ortalamayı ve yayılımı hareket ettirir, bu da diğer her çıktıyı da hareket ettirir. Sonuç, özellik başına, g gelen gradyan ve N batch boyutu olmak üzere:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
Şöyle oku: düz gradyan, eksi yalnızca her şeyi birlikte kaydıran kısım (ortalama terimi), eksi yalnızca her şeyi birlikte esneten kısım (yayılım terimi). Bu iki kısım normalleştirmenin kendisi tarafından sıfırlanır.
Takılırsan ipuçlarından çözülmüş bir çözüm açılır. Bu dersi atlamak hiçbir şeyi engellemez.
Bu dersteki kelimeler ve semboller
- Xavier, LeCun, He
- başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
- BatchNorm (gamma, beta)
- her özelliği batch üzerinde normalleştir, sonra öğrenilmiş gamma ve beta ile yeniden ölçekle
2B bir batch için (dX, dgamma, dbeta) döndüren batchnorm_backward(X, gamma, g, eps=1e-5) yaz; burada g çıktıya gelen gradyandır.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.