Müfredat 246 dersinden 150. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Katman normalleştirmesi: her vektörü aralıkta tut

Neden önemli Modül 6 aktivasyonları batch üzerinden ortalama alan batch normalleştirmesiyle sağlıklı tuttu. Metin batch'lerinin uzunlukları değişir ve üretim her seferinde bir dizi çalışır, bu yüzden transformer'lar her konumun vektörünü kendi başına normalleştirir: katman normalleştirmesi.

d sayılık bir x vektörü için: ortalamasını çıkar, standart sapmasına böl (artı minicik bir epsilon, 1e-5, böylece asla 0'a bölmeyiz), sonra öğrenilmiş g ve b ile ölçekle ve kaydır:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

Her token'ın vektörü, akan toplam ne kadar büyümüş olursa olsun, her dikkate ve her ileri besleme kısmına ortalama 0 ve yayılım 1 ile girer.

Bu dersteki kelimeler ve semboller
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
katman normalleştirmesi
her vektörü kendi başına normalleştir: ortalama 0, yayılım 1, sonra çarpı g artı b
Senin sıran

Son eksen boyunca normalleştiren, herhangi bir şekildeki bir dizi için layer_norm(x, g, b) yaz. Ev motorunun layernorm'uyla uyuşmalı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.