Müfredat 246 dersinden 147. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Çok kafa, aynı maliyet

Neden önemli Katman başına tek bir dikkat kalıbı sınırlayıcıdır: bir konum önceki karaktere ve aynı anda kelimenin başına bakmak isteyebilir. Çok kafalı dikkat birkaç küçük dikkati yan yana çalıştırır.

Gör

Animasyonu oynat. Q, K ve V'nin d sütununu d / H'lik H gruba böl. Her grup (bir kafa) kendi kalıbıyla kendi dikkatini yapar. H çıktıyı yan yana d sütuna geri yapıştır, sonra onları bir matris daha, Wo, ile karıştır.

Maliyet: büyük tek bir kafayla aynı matrisler, sadece parçalara kesilmiş, bu yüzden parametre sayısı değişmez. Her kafa daha dardır, bu yüzden d / H'nin kareköküne böler.

Bu dersteki kelimeler ve semboller
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
kafa
her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
Senin sıran

Çıktıyı ve H dikkat matrisinden oluşan bir listeyi döndüren multi_head(X, Wq, Wk, Wv, Wo, H) yaz (maske yok).

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.