Silabus Pelajaran 127 dari 246 · Modul 11: Jaringan dengan memori (RNNs)
Modul 11: Jaringan dengan memori (RNNs)

Backprop melalui waktu adalah backprop biasa

Kenapa ini penting "Backpropagation through time" terdengar seperti algoritma baru. Padahal tidak: buka gulung loopnya dan itu adalah backprop pada jaringan deep yang layernya berbagi satu set weights yang sama.

Lihat sendiri

Putar animasinya. Tiga langkah RNN yang digambar berdampingan adalah tiga lapisan. Bobot w yang sama muncul di setiap lapisan. Mundur, gradien untuk w mengumpulkan satu kontribusi dari setiap salinan, persis seperti node yang digunakan beberapa kali di engine Module 4 kamu.

Angka kecil

A RNN linear satu angka: h_t = w h_(t-1) + x_t, mulai di h_0 = 0, dengan loss = h_3. Input 1, 2, 3 dan w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Mundur ke belakang, dL/dh2 = w = 0.5 dan dL/dh1 = w kuadrat = 0.25. Setiap salinan w berkontribusi (gradien di outputnya) dikali (h yang dikalikannya): 1 dikali h2 + 0.5 dikali h1 + 0.25 dikali h0 = 2.5 + 0.5 + 0 = 3.0.

BPTT: backpropagation through time; urai langkah-langkahnya dan lakukan backpropagate, jumlahkan gradient dari setiap langkah yang berbagi weight yang sama.

Kata dan simbol di pelajaran ini
jaringan saraf berulang (RNN)
a jaringan yang membaca satu langkah demi satu langkah dan membawa state tersembunyi ke depan
backprop through time (BPTT)
Urutkan langkahnya dan lakukan backpropagate, tambahkan gradien dari setiap langkah yang berbagi bobot
Giliranku

Untuk RNN satu angka h_t = w * h_(t-1) + x_t dengan h_0 = 0 dan loss h_T (state terakhir), tulis bptt(xs, w) yang mengembalikan dL/dw dengan berjalan mundur melalui langkah-langkahnya.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.