Silabus Pelajaran 128 dari 246 · Modul 11: Jaringan dengan memori (RNNs)
Modul 11: Jaringan dengan memori (RNNs)

Gradien yang menghilang dan meledak, diukur

Kenapa ini penting Kamu baru saja melihat gradient untuk langkah awal yang dikalikan dengan w sekali setiap langkah. Dengan banyak langkah, hasil perkalian itu akan mengecil hingga habis atau meledak. Ini adalah kelemahan utama dari RNN biasa.

Dengan matriks bobot W alih-alih angka, mundur satu langkah mengalikan gradien dengan W transposed (mengabaikan tanh, yang hanya bisa mengecilkannya lagi). Satu langkah bisa memperbesar vektor maksimal sebesar peregangan terbesar W, yaitu spectral norm. Dalam banyak langkah yang berpengaruh adalah spectral radius, ukuran eigenvalue terbesar W (Modul 2, "How spread adds up, and what a matrix stretches"): setelah k langkah ukurannya berubah sekitar r pangkat k. (Untuk rotasi yang digunakan di bawah, keduanya adalah angka yang sama, r.) r = 0.9 selama 50 langkah: 0.005. r = 1.1 selama 50 langkah: 117.

Dua obat berbeda

Gradien yang meledak punya cara penanganan kasar: potong mereka (Module 5). Gradien yang menghilang tidak punya cara seperti itu. Total gradien untuk sebuah bobot adalah jumlah dari setiap jarak ke belakang dalam waktu; saat istilah jarak jauh mengecil seperti 0.9 pangkat 50, mereka tenggelam oleh istilah jarak pendek, dan menskalakan seluruh jumlah akan menskalakan noise bersamanya. Jaringan tidak bisa tahu bahwa sesuatu yang jauh di belakang itu penting. Solusinya adalah arsitektur yang berbeda: LSTM, selanjutnya.

Kata dan simbol di pelajaran ini
jaringan saraf berulang (RNN)
a jaringan yang membaca satu langkah demi satu langkah dan membawa state tersembunyi ke depan
gradien menghilang / meledak
a gradien yang dikalikan dengan matriks yang sama berkali-kali akan mengecil hingga habis atau meledak
LSTM
an RNN dengan sel memori c dan tiga gate: forget, input, output
Giliranku

Tulis gradient_sizes(W, steps): mulai dari gradien berisi angka satu, kalikan dengan W.T sekali setiap langkah, dan kembalikan daftar normanya (satu per langkah). Lalu atur verdicts ke "vanish", "steady" atau "explode" untuk ketiga matriks tersebut, berdasarkan norma setelah 50 langkah (di bawah 0.01, antara 0.01 dan 100, di atas 100).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.