Kafaların neye baktığı
Neden önemli Dikkat ağırlıkları okunabilir. Eğitilmiş kafaların ne yaptığına bakmak yorumlanabilirliğin başlangıcıdır: bir modeli yalnızca çıktılarından değil, içinden anlamak.
Kaydedilmiş 64 genişlikteki modelin 4 kafalı 2 katmanı var. Her kafa için bir konumun hemen önceki karaktere ortalamada ne kadar dikkat verdiğini ölç. Bir kafa dikkatini görebileceği her şeye eşit yaysaydı, bu sayı 32 karakterlik bir parça üzerinde yaklaşık 0.10 olurdu.
Tahmin et: hangi katmanın kafaları "önceki karaktere bak" konusunda uzmanlaşıyor?
Bu dersteki kelimeler ve semboller
- dikkat
- sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
- kafa
- her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
my_guess değerini 0 ya da 1'e ayarla. Tek bir t'ye t dikkat matrisi için prev_share(A) yaz: 1'den t - 1'e i için A[i, i - 1]'in ortalaması. attention_maps kullanarak share'i doldur: (layer, head)'den 40 ayrılmış parça üzerinde prev_share'in ortalamasına.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.