Müfredat 246 dersinden 83. · Modül 6: Başlangıç ağırlıkları ve normalleştirme
Modül 6: Başlangıç ağırlıkları ve normalleştirme

LayerNorm ve RMSNorm

Neden önemli Transformer'lar BatchNorm kullanmaz. Her örneği kendi başına normalleştirirler, bu da az önce karşılaştığın batch tuzağından kaçınır ve her batch boyutunda çalışır.

  • LayerNorm her örneğin (her satırın) özellikleri boyunca normalleştirir: satırın ortalamasını çıkar, satırın yayılımına böl, sonra özellik başına gamma ve beta. Eğitimde ve kullanımda aynı.
  • RMSNorm daha basittir ve birçok yeni dil modeli tarafından kullanılır: ortalamayı atla, ve her satırı karelerinin ortalamasının köküne, sqrt(mean(x squared) + eps)'e böl, sonra gamma ile çarp.

Küçük sayılar

Satır [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm [0.849, 1.131] verir. LayerNorm önce 3.5 ortalamasını çıkarır: [-1, 1].

Bu dersteki kelimeler ve semboller
Xavier, LeCun, He
başlangıç yayılımları: tanh için sqrt(2 / (girdiler + çıktılar)) ya da 1 / sqrt(girdiler), ReLU için sqrt(2 / girdiler)
BatchNorm (gamma, beta)
her özelliği batch üzerinde normalleştir, sonra öğrenilmiş gamma ve beta ile yeniden ölçekle
LayerNorm, RMSNorm
her örneği kendi başına, özellikleri boyunca normalleştirmek
Senin sıran

İkisi de satır başına olan layernorm(X, gamma, beta, eps=1e-5) ve rmsnorm(X, gamma, eps=1e-6) yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.