Silabus Pelajaran 129 dari 246 · Modul 11: Jaringan dengan memori (RNNs)
Modul 11: Jaringan dengan memori (RNNs)

Gerbang LSTM, dibangun

Kenapa ini penting LSTM (1997, dengan forget gate yang diajarkan di sini ditambahkan pada 2000) memperbaiki masalah memori RNN dan mendukung pengenalan ucapan serta penerjemahan selama dua puluh tahun. Triknya sederhana setelah kamu melihatnya.

Lihat sendiri

Putar animasinya. Selain status tersembunyi h, sebuah LSTM menyimpan cell c, sebuah ban berjalan memori. Tiga gerbang, masing-masing adalah sigmoid antara 0 dan 1, menentukan apa yang terjadi padanya:

  • forget gate f: berapa banyak sel lama yang harus disimpan;
  • gerbang input i: berapa banyak informasi baru g yang akan ditulis ke dalam;
  • output gate o: berapa banyak sel yang harus ditampilkan sebagai h.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

Baris kuncinya adalah c = f * c + i * g. Jika mundur satu langkah, gradien pada sel dikalikan oleh f, dan tidak ada yang lain: tidak ada perkalian berulang oleh matriks bobot. Ini tetap mengecil sebesar f setiap langkah, jadi setelah k langkah nilainya adalah f pangkat k. Dengan f = 0.95 itu adalah 0.08 setelah 50 langkah; dengan f = 0.999 nilainya adalah 0.95. Jadi sebuah LSTM mengingat sangat jauh saat forget gates tetap sangat dekat dengan 1, dan pelajaran berikutnya mengukur seberapa dekat itu cukup dekat.

Kata dan simbol di pelajaran ini
jaringan saraf berulang (RNN)
a jaringan yang membaca satu langkah demi satu langkah dan membawa state tersembunyi ke depan
status tersembunyi h
vektor pendek angka yang dibawa RNN dari langkah ke langkah
LSTM
an RNN dengan sel memori c dan tiga gate: forget, input, output
Giliranku

Tulis lstm_step(x, h, c, W, b) yang mengembalikan (h, c), dengan W berukuran (inputs + hidden, 4 * hidden) dan empat kuarter dalam urutan i, f, g, o. Inputnya dalam bentuk batch: x adalah (batch, inputs), h dan c adalah (batch, hidden), jadi gabungkan x dan h di sepanjang axis 1.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.