Neden d'nin kareköküne bölünür
Neden önemli Her transformer dikkat puanlarını anahtar boyutunun kareköküne böler. Bunu atla, dikkat harmanlamayı bırakır ve gradyanları neredeyse kaybolur. Nedenini ölçeceksin.
d uzunluğunda iki rastgele vektörün iç çarpımı d çarpımı toplar. Her birinin yayılımı yaklaşık 1'dir, bu yüzden toplamın yayılımı yaklaşık d'nin kareköküdür. Nedeni: bağımsız rastgele sayıları topladığında yayılımları değil, kareleri toplanır (karelere varyans denir). Her birinin varyansı 1 olan d çarpım d varyans verir, bu yüzden yayılım d'nin kareköküdür. d = 64 için bu 8'dir.
Artı eksi 8 ya da daha fazlasına yayılmış puanlar softmax'ı neredeyse one-hot yapar: bir ağırlık 1'e yakın, geri kalanı 0'a yakın. One-hot bir softmax'ın gradyanları minicik olur: her çıktının kendi puanına göre eğimi p(1 - p)'dir, p 0 ya da 1'e yakınken 0'a yakındır (Modül 2'nin softmax gradyanı dersi onu türetir, ve bu modülün dikkat boyunca geri geçiş dersi onu kullanır), bu yüzden model yavaş öğrenir. d'nin kareköküne bölmek, d ne olursa olsun yayılımı yaklaşık 1'e geri getirir.
Tahmin et: d 4'ten 256'ya büyüdükçe en büyük ağırlığa bölmeyle ve bölmesiz ne olur?
Bu dersteki kelimeler ve semboller
- sorgu, anahtar, değer
- bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
- dikkat
- sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
my_guess doldur. Sonra top_weight(d, scaled) yaz: her biri 32 rastgele anahtara karşı 2.000 rastgele sorgu (normal sayılar, tohum 0), en büyük softmax ağırlığının ortalaması. measured'ı doldur.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.