BatchNorm ileri geçişi ve hareketli ortalamalar
Neden önemli Eğitim sırasında BatchNorm batch'in kendi istatistiklerini kullanır. Model tek tek örnekler üzerinde kullanıldığında bir batch yoktur, bu yüzden eğitimden tipik istatistikleri hatırlamalıdır.
Eğitim sırasında her özelliğin ortalaması ve varyansının hareketli ortalamalarını tut: running = (1 - momentum) * running + momentum * batch_value, momentum 0.1 ile. Değerlendirme kipinde batch'inkiler yerine bu hareketli değerlerle normalleştir.
Eğitim kipi: batch istatistiklerini kullan ve hareketli ortalamaları güncelle. Değerlendirme kipi: saklanan hareketli ortalamaları kullan ve hiçbir şeyi değiştirme.
Bu dersteki kelimeler ve semboller
- Xavier, LeCun, He
- başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
- BatchNorm (gamma, beta)
- her özelliği batch üzerinde normalleştir, sonra öğrenilmiş gamma ve beta ile yeniden ölçekle
gamma (birler), beta (sıfırlar), running_mean (sıfırlar), running_var (birler), bir training bayrağı (True ile başlar) ve anlatıldığı gibi davranan __call__(X) içeren BatchNorm(n, momentum=0.1, eps=1e-5) sınıfını yaz. running_var için, np.var'ın hesapladığı batch varyansı (n'ye bölerek) kursun seçimidir; PyTorch yansız olanı tutar (n - 1'e bölerek), ve ikisi de kabul edilir.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.