Silabus Pelajaran 130 dari 246 · Modul 11: Jaringan dengan memori (RNNs)
Modul 11: Jaringan dengan memori (RNNs)

Siapa yang ingat? Jalannya yang sudah direkam

Kenapa ini penting Buku teks bilang LSTM mengingat dan RNN biasa melupakan. Kursus ini menguji hal itu, dan jawaban aslinya punya kejutan yang layak kamu tahu sebelum kamu melatih salah satunya.

Eksperimen yang dicatat rnn-vs-lstm-memory: jaringan melihat salah satu dari empat simbol, lalu jeda 5, 15, 30 atau 60 simbol lagi yang diambil dari alfabet yang sama, dan harus menyebutkan apa simbol pertamanya. Tiga jenis jaringan, masing-masing tiga seed:

  • RNN tanh biasa;
  • an LSTM yang forget gate-nya dimulai dengan bias 1 (ia menyimpan sekitar 73% dari cell per langkah pada awalnya);
  • an LSTM yang forget gate nya dimulai dengan bias 3 (sekitar 95%).

Sebelum kamu baca hasil jalannya, prediksi: mana yang berhasil di ketiga seed dengan gap 60?

Kata dan simbol di pelajaran ini
jaringan saraf berulang (RNN)
a jaringan yang membaca satu langkah demi satu langkah dan membawa state tersembunyi ke depan
LSTM
an RNN dengan sel memori c dan tiga gate: forget, input, output
Giliranku

Atur my_prediction ke "rnn", "lstm-forget-bias-1" atau "lstm-forget-bias-3". Lalu isi successes: (cell, gap) dengan berapa banyak dari tiga seed yang mencapai setidaknya 95% test accuracy, menggunakan nnsim.recorded.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.