Satu membaca, satu menulis: hambatan utamanya
Kenapa ini penting Translation dulu bekerja seperti ini: satu RNN membaca kalimat ke dalam satu vektor tunggal, yang lain menulis output darinya. Vektor tunggal itu adalah hambatan, dan melihatnya gagal adalah alasan attention diciptakan.
Arsitektur encoder-decoder: RNN encoder membaca input; hidden state terakhirnya diberikan ke RNN decoder, yang menulis output satu simbol demi satu simbol, sambil memasukkan kembali setiap jawaban. Semua yang diketahui decoder tentang input harus melewati satu vektor berisi 48 angka tersebut.
Eksperimen yang dicatat seq2seq-bottleneck melatih jaringan seperti itu untuk menulis urutan angka terbalik, untuk panjang 4, 8, 12 dan 16, masing-masing dua seed. Ini juga melatih versi dengan attention, yang akan kamu temui di Module 13. Untuk sekarang, lihat hanya yang biasa saja.
Tebak Kurvanya: prediksi akurasi digit dari model plain pada panjang 16. Peluangnya 10%.
Kata dan simbol di pelajaran ini
- jaringan saraf berulang (RNN)
- jaringan yang membaca satu langkah demi satu langkah dan membawa state tersembunyi ke depan
- encoder-decoder
- one RNN membaca input ke dalam sebuah vektor, yang lain menulis output darinya
- bottleneck
- vektor tunggal yang harus dilewati semuanya
Atur my_guess_16, lalu isi plain_acc: length ke mean digit accuracy dari dua plain runs.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.