Katman normalleştirmesi: her vektörü aralıkta tut
Neden önemli Modül 6 aktivasyonları batch üzerinden ortalama alan batch normalleştirmesiyle sağlıklı tuttu. Metin batch'lerinin uzunlukları değişir ve üretim her seferinde bir dizi çalışır, bu yüzden transformer'lar her konumun vektörünü kendi başına normalleştirir: katman normalleştirmesi.
d sayılık bir x vektörü için: ortalamasını çıkar, standart sapmasına böl (artı minicik bir epsilon, 1e-5, böylece asla 0'a bölmeyiz), sonra öğrenilmiş g ve b ile ölçekle ve kaydır:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
Her token'ın vektörü, akan toplam ne kadar büyümüş olursa olsun, her dikkate ve her ileri besleme kısmına ortalama 0 ve yayılım 1 ile girer.
Bu dersteki kelimeler ve semboller
- dikkat
- sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
- katman normalleştirmesi
- her vektörü kendi başına normalleştir: ortalama 0, yayılım 1, sonra çarpı g artı b
Son eksen boyunca normalleştiren, herhangi bir şekildeki bir dizi için layer_norm(x, g, b) yaz. Ev motorunun layernorm'uyla uyuşmalı.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.