LayerNorm ve RMSNorm
Neden önemli Transformer'lar BatchNorm kullanmaz. Her örneği kendi başına normalleştirirler, bu da az önce karşılaştığın batch tuzağından kaçınır ve her batch boyutunda çalışır.
- LayerNorm her örneğin (her satırın) özellikleri boyunca normalleştirir: satırın ortalamasını çıkar, satırın yayılımına böl, sonra özellik başına gamma ve beta. Eğitimde ve kullanımda aynı.
- RMSNorm daha basittir ve birçok yeni dil modeli tarafından kullanılır: ortalamayı atla, ve her satırı karelerinin ortalamasının köküne,
sqrt(mean(x squared) + eps)'e böl, sonra gamma ile çarp.
Küçük sayılar
Satır [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm [0.849, 1.131] verir. LayerNorm önce 3.5 ortalamasını çıkarır: [-1, 1].
Bu dersteki kelimeler ve semboller
- Xavier, LeCun, He
- başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
- BatchNorm (gamma, beta)
- her özelliği batch üzerinde normalleştir, sonra öğrenilmiş gamma ve beta ile yeniden ölçekle
- LayerNorm, RMSNorm
- her örneği kendi başına, özellikleri boyunca normalleştirmek
İkisi de satır başına olan layernorm(X, gamma, beta, eps=1e-5) ve rmsnorm(X, gamma, eps=1e-6) yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.