Çok kafa, aynı maliyet
Neden önemli Katman başına tek bir dikkat kalıbı sınırlayıcıdır: bir konum önceki karaktere ve aynı anda kelimenin başına bakmak isteyebilir. Çok kafalı dikkat birkaç küçük dikkati yan yana çalıştırır.
Gör
Animasyonu oynat. Q, K ve V'nin d sütununu d / H'lik H gruba böl. Her grup (bir kafa) kendi kalıbıyla kendi dikkatini yapar. H çıktıyı yan yana d sütuna geri yapıştır, sonra onları bir matris daha, Wo, ile karıştır.
Maliyet: büyük tek bir kafayla aynı matrisler, sadece parçalara kesilmiş, bu yüzden parametre sayısı değişmez. Her kafa daha dardır, bu yüzden d / H'nin kareköküne böler.
Bu dersteki kelimeler ve semboller
- dikkat
- sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
- kafa
- her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
Çıktıyı ve H dikkat matrisinden oluşan bir listeyi döndüren multi_head(X, Wq, Wk, Wv, Wo, H) yaz (maske yok).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.