Dikkat darboğazı düzeltir
Neden önemli Dikkat 2014'te tam olarak Modül 11'de ölçtüğün sorunu düzeltmek için icat edildi: bütün bir cümleyi tek bir vektöre sıkıştıran bir kodlayıcı.
Kaydedilmiş seq2seq-bottleneck deneyinde dikkatli modelin kod çözücüsü her adımda kodlayıcının bütün gizli durumlarına dikkat eder (sorgusu kod çözücünün kendi durumudur). Artık tek bir son vektöre bağlı değildir; ihtiyacı olan rakama doğrudan geri bakabilir.
Tahmin et: düz modelin rakamların yaklaşık %59'unu doğru yaptığı 16 uzunluğunda, dikkatli model ne alır?
Bu dersteki kelimeler ve semboller
- sorgu, anahtar, değer
- bir konumun aradığı şey; her konumun eşleşmek için sunduğu şey; verdiği şey
- dikkat
- sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
my_guess değerini 0 ile 1 arasında bir sayıya ayarla: dikkatli modelin 16 uzunluğundaki rakam doğruluğu için tahminin. acc'ı doldur: iki model ve dört uzunluğun hepsi için (model, length)'ten iki tohumun ortalama rakam doğruluğuna, ve gain_at_16.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.