Backprop melalui waktu adalah backprop biasa
Kenapa ini penting "Backpropagation through time" terdengar seperti algoritma baru. Padahal tidak: buka gulung loopnya dan itu adalah backprop pada jaringan deep yang layernya berbagi satu set weights yang sama.
Lihat sendiri
Putar animasinya. Tiga langkah RNN yang digambar berdampingan adalah tiga lapisan. Bobot w yang sama muncul di setiap lapisan. Mundur, gradien untuk w mengumpulkan satu kontribusi dari setiap salinan, persis seperti node yang digunakan beberapa kali di engine Module 4 kamu.
Angka kecil
A RNN linear satu angka: h_t = w h_(t-1) + x_t, mulai di h_0 = 0, dengan loss = h_3. Input 1, 2, 3 dan w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Mundur ke belakang, dL/dh2 = w = 0.5 dan dL/dh1 = w kuadrat = 0.25. Setiap salinan w berkontribusi (gradien di outputnya) dikali (h yang dikalikannya): 1 dikali h2 + 0.5 dikali h1 + 0.25 dikali h0 = 2.5 + 0.5 + 0 = 3.0.
BPTT: backpropagation through time; urai langkah-langkahnya dan lakukan backpropagate, jumlahkan gradient dari setiap langkah yang berbagi weight yang sama.
Kata dan simbol di pelajaran ini
- jaringan saraf berulang (RNN)
- a jaringan yang membaca satu langkah demi satu langkah dan membawa state tersembunyi ke depan
- backprop through time (BPTT)
- Urutkan langkahnya dan lakukan backpropagate, tambahkan gradien dari setiap langkah yang berbagi bobot
Untuk RNN satu angka h_t = w * h_(t-1) + x_t dengan h_0 = 0 dan loss h_T (state terakhir), tulis bptt(xs, w) yang mengembalikan dL/dw dengan berjalan mundur melalui langkah-langkahnya.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.