Müfredat 246 dersinden 81. · Modül 6: Başlangıç ağırlıkları ve normalleştirme
Modül 6: Başlangıç ağırlıkları ve normalleştirme

3 sayılık bir batch üzerinde BatchNorm geri geçişi (isteğe bağlı)

Neden önemli Bu, Bölüm 1'deki en zor geri kuralıdır, ve isteğe bağlıdır. Dersi şu: her çıktı her girdiye bağlı olduğunda (ortalama ve yayılım aracılığıyla), gradyan fazladan terimler kazanır.

Önce 3'lük bir batch'le tek bir özellik üzerinde çalış. x_hat = (x - ortalama) / yayılım ve y = gamma x_hat + beta ile, x'e göre gradyan yalnızca gamma / yayılım çarpı gelen gradyan değildir. Bir x'i itmek ortalamayı ve yayılımı hareket ettirir, bu da diğer her çıktıyı da hareket ettirir. Sonuç, özellik başına, g gelen gradyan ve N batch boyutu olmak üzere:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

Şöyle oku: düz gradyan, eksi yalnızca her şeyi birlikte kaydıran kısım (ortalama terimi), eksi yalnızca her şeyi birlikte esneten kısım (yayılım terimi). Bu iki kısım normalleştirmenin kendisi tarafından sıfırlanır.

Takılırsan ipuçlarından çözülmüş bir çözüm açılır. Bu dersi atlamak hiçbir şeyi engellemez.

Bu dersteki kelimeler ve semboller
Xavier, LeCun, He
başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
BatchNorm (gamma, beta)
her özelliği batch üzerinde normalleştir, sonra öğrenilmiş gamma ve beta ile yeniden ölçekle
Senin sıran

2B bir batch için (dX, dgamma, dbeta) döndüren batchnorm_backward(X, gamma, g, eps=1e-5) yaz; burada g çıktıya gelen gradyandır.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.