Müfredat 246 dersinden 155. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Kafaların neye baktığı

Neden önemli Dikkat ağırlıkları okunabilir. Eğitilmiş kafaların ne yaptığına bakmak yorumlanabilirliğin başlangıcıdır: bir modeli yalnızca çıktılarından değil, içinden anlamak.

Kaydedilmiş 64 genişlikteki modelin 4 kafalı 2 katmanı var. Her kafa için bir konumun hemen önceki karaktere ortalamada ne kadar dikkat verdiğini ölç. Bir kafa dikkatini görebileceği her şeye eşit yaysaydı, bu sayı 32 karakterlik bir parça üzerinde yaklaşık 0.10 olurdu.

Tahmin et: hangi katmanın kafaları "önceki karaktere bak" konusunda uzmanlaşıyor?

Bu dersteki kelimeler ve semboller
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
kafa
her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
Senin sıran

my_guess değerini 0 ya da 1'e ayarla. Tek bir t'ye t dikkat matrisi için prev_share(A) yaz: 1'den t - 1'e i için A[i, i - 1]'in ortalaması. attention_maps kullanarak share'i doldur: (layer, head)'den 40 ayrılmış parça üzerinde prev_share'in ortalamasına.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.