Müfredat 246 dersinden 143. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Dikkat darboğazı düzeltir

Neden önemli Dikkat 2014'te tam olarak Modül 11'de ölçtüğün sorunu düzeltmek için icat edildi: bütün bir cümleyi tek bir vektöre sıkıştıran bir kodlayıcı.

Kaydedilmiş seq2seq-bottleneck deneyinde dikkatli modelin kod çözücüsü her adımda kodlayıcının bütün gizli durumlarına dikkat eder (sorgusu kod çözücünün kendi durumudur). Artık tek bir son vektöre bağlı değildir; ihtiyacı olan rakama doğrudan geri bakabilir.

Tahmin et: düz modelin rakamların yaklaşık %59'unu doğru yaptığı 16 uzunluğunda, dikkatli model ne alır?

Bu dersteki kelimeler ve semboller
sorgu, anahtar, değer
bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
Senin sıran

my_guess değerini 0 ile 1 arasında bir sayıya ayarla: dikkatli modelin 16 uzunluğundaki rakam doğruluğu için tahminin. acc'ı doldur: iki model ve dört uzunluğun hepsi için (model, length)'ten iki tohumun ortalama rakam doğruluğuna, ve gain_at_16.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.