Urutan dan status
Kenapa ini penting Teks, ucapan, harga, dan pembacaan sensor datang satu per satu, dan apa yang terjadi sebelumnya mengubah apa yang akan terjadi selanjutnya. Sebuah recurrent network membawa ringkasan yang sedang berjalan ke depan.
recurrent neural network (RNN) menyimpan hidden state h, sebuah vektor pendek. Di setiap langkah, ia mencampur input baru dengan state lama dan menekan hasilnya:
h = tanh(x_t @ Wx + h @ Wh + b)
Bobot menggunakan bobot yang sama di setiap langkah, sama seperti CNN menggunakan kembali filternya di setiap posisi. h akhir bergantung pada semua yang telah dibaca jaringan, jadi itu adalah memori (yang tidak sempurna) dari seluruh urutan.
Angka kecil
Satu angka input, satu angka tersembunyi, Wx = 1, Wh = 0.5, b = 0, h mulai dari 0. Membaca 1 lalu 0: h = tanh(1) = 0.76, lalu h = tanh(0 + 0.38) = 0.36. Input pertama masih terlihat di status setelah langkah kedua, memudar.
Status tersembunyi: vektor yang dibawa RNN dari langkah ke langkah. Rekuren: memasukkan kembali outputnya sendiri sebagai input.
Kata dan simbol di pelajaran ini
- jaringan saraf berulang (RNN)
- a jaringan yang membaca satu langkah demi satu langkah dan membawa state tersembunyi ke depan
Tulis rnn_forward(xs, Wx, Wh, b): xs memiliki shape (steps, input size); mulai dari state nol dan kembalikan list hidden states setelah setiap step.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.