Müfredat 246 dersinden 144. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Öz dikkat: her konum diğer her konuma sorar

Neden önemli Bir transformer'da geri bakılacak ayrı bir kodlayıcı yoktur. Metnin her konumu diğerlerine dikkat eder, böylece her karakterin vektörü cümlenin geri kalanından bilgiyle güncellenir.

Konum başına bir satır olan X ile başla (t satır, d sütun). Öğrenilmiş üç matris her konumun sorgusunu, anahtarını ve değerini aynı anda yapar:

Q = X @ Wq     K = X @ Wk     V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk))      # t by t: row i is how much position i attends to each position
out = A @ V

Bu, 1. dersin yumuşak aramasıdır, t sorgunun hepsi için iki matris çarpımıyla aynı anda yapılır, bu yüzden hızlı matematik rutinlerinde bu kadar iyi çalışır.

Bu dersteki kelimeler ve semboller
sorgu, anahtar, değer
bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
öz dikkat
her konum aynı metnin konumlarına dikkat eder
Senin sıran

(out, A) döndüren self_attention(X, Wq, Wk, Wv) yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.