Silabus Pelajaran 125 dari 246 · Modul 11: Jaringan dengan memori (RNNs)
Modul 11: Jaringan dengan memori (RNNs)

Urutan dan status

Kenapa ini penting Teks, ucapan, harga, dan pembacaan sensor datang satu per satu, dan apa yang terjadi sebelumnya mengubah apa yang akan terjadi selanjutnya. Sebuah recurrent network membawa ringkasan yang sedang berjalan ke depan.

recurrent neural network (RNN) menyimpan hidden state h, sebuah vektor pendek. Di setiap langkah, ia mencampur input baru dengan state lama dan menekan hasilnya:

h = tanh(x_t @ Wx + h @ Wh + b)

Bobot menggunakan bobot yang sama di setiap langkah, sama seperti CNN menggunakan kembali filternya di setiap posisi. h akhir bergantung pada semua yang telah dibaca jaringan, jadi itu adalah memori (yang tidak sempurna) dari seluruh urutan.

Angka kecil

Satu angka input, satu angka tersembunyi, Wx = 1, Wh = 0.5, b = 0, h mulai dari 0. Membaca 1 lalu 0: h = tanh(1) = 0.76, lalu h = tanh(0 + 0.38) = 0.36. Input pertama masih terlihat di status setelah langkah kedua, memudar.

Status tersembunyi: vektor yang dibawa RNN dari langkah ke langkah. Rekuren: memasukkan kembali outputnya sendiri sebagai input.

Kata dan simbol di pelajaran ini
jaringan saraf berulang (RNN)
a jaringan yang membaca satu langkah demi satu langkah dan membawa state tersembunyi ke depan
Giliranku

Tulis rnn_forward(xs, Wx, Wh, b): xs memiliki shape (steps, input size); mulai dari state nol dan kembalikan list hidden states setelah setiap step.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.