Müfredat 246 dersinden 142. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Neden d'nin kareköküne bölünür

Neden önemli Her transformer dikkat puanlarını anahtar boyutunun kareköküne böler. Bunu atla, dikkat harmanlamayı bırakır ve gradyanları neredeyse kaybolur. Nedenini ölçeceksin.

d uzunluğunda iki rastgele vektörün iç çarpımı d çarpımı toplar. Her birinin yayılımı yaklaşık 1'dir, bu yüzden toplamın yayılımı yaklaşık d'nin kareköküdür. Nedeni: bağımsız rastgele sayıları topladığında yayılımları değil, kareleri toplanır (karelere varyans denir). Her birinin varyansı 1 olan d çarpım d varyans verir, bu yüzden yayılım d'nin kareköküdür. d = 64 için bu 8'dir.

Artı eksi 8 ya da daha fazlasına yayılmış puanlar softmax'ı neredeyse one-hot yapar: bir ağırlık 1'e yakın, geri kalanı 0'a yakın. One-hot bir softmax'ın gradyanları minicik olur: her çıktının kendi puanına göre eğimi p(1 - p)'dir, p 0 ya da 1'e yakınken 0'a yakındır (Modül 2'nin softmax gradyanı dersi onu türetir, ve bu modülün dikkat boyunca geri geçiş dersi onu kullanır), bu yüzden model yavaş öğrenir. d'nin kareköküne bölmek, d ne olursa olsun yayılımı yaklaşık 1'e geri getirir.

Tahmin et: d 4'ten 256'ya büyüdükçe en büyük ağırlığa bölmeyle ve bölmesiz ne olur?

Bu dersteki kelimeler ve semboller
sorgu, anahtar, değer
bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
Senin sıran

my_guess doldur. Sonra top_weight(d, scaled) yaz: her biri 32 rastgele anahtara karşı 2.000 rastgele sorgu (normal sayılar, tohum 0), en büyük softmax ağırlığının ortalaması. measured'ı doldur.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.