Müfredat 246 dersinden 80. · Modül 6: Başlangıç ağırlıkları ve normalleştirme
Modül 6: Başlangıç ağırlıkları ve normalleştirme

BatchNorm ileri geçişi ve hareketli ortalamalar

Neden önemli Eğitim sırasında BatchNorm batch'in kendi istatistiklerini kullanır. Model tek tek örnekler üzerinde kullanıldığında bir batch yoktur, bu yüzden eğitimden tipik istatistikleri hatırlamalıdır.

Eğitim sırasında her özelliğin ortalaması ve varyansının hareketli ortalamalarını tut: running = (1 - momentum) * running + momentum * batch_value, momentum 0.1 ile. Değerlendirme kipinde batch'inkiler yerine bu hareketli değerlerle normalleştir.

Eğitim kipi: batch istatistiklerini kullan ve hareketli ortalamaları güncelle. Değerlendirme kipi: saklanan hareketli ortalamaları kullan ve hiçbir şeyi değiştirme.

Bu dersteki kelimeler ve semboller
Xavier, LeCun, He
başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
BatchNorm (gamma, beta)
her özelliği batch üzerinde normalleştir, sonra öğrenilmiş gamma ve beta ile yeniden ölçekle
Senin sıran

gamma (birler), beta (sıfırlar), running_mean (sıfırlar), running_var (birler), bir training bayrağı (True ile başlar) ve anlatıldığı gibi davranan __call__(X) içeren BatchNorm(n, momentum=0.1, eps=1e-5) sınıfını yaz. running_var için, np.var'ın hesapladığı batch varyansı (n'ye bölerek) kursun seçimidir; PyTorch yansız olanı tutar (n - 1'e bölerek), ve ikisi de kabul edilir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.