Backprop & Pengecekan Gradien
Kamu melatih model mainan dengan menggeser bobot ke bawah. Tapi dari mana asal gradiennya, dan bagaimana kamu tahu kalau itu benar? Pelajaran ini menjawab keduanya, dan jawaban kedua, gradient checking, adalah satu kebiasaan yang membedakan jaringan saraf yang berfungsi dari yang rusak tanpa ketahuan.
Backprop hanyalah chain rule. Ambil satu contoh melalui model kecil: prediksi z = w * x, lalu ukur squared error L = (z - y)**2. Untuk meningkatkan w kamu butuh dL/dw. Hitung dalam dua langkah dan kalikan:
dL/dz = 2 * (z - y) # how loss moves with the prediction
dz/dw = x # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * xProduk itu adalah backpropagation dalam skala kecil: setiap layer mengalikan gradient yang mengalir balik dengan turunan lokalnya sendiri. Tumpuk sejuta lapisan seperti ini dan kamu punya deep network.
Sekarang, apakah formulamu benar? Verifikasi secara numerik. Definisi turunan adalah dorongan kecil, jadi estimasi dengan central finite difference dan cek apakah gradient analitiknya sesuai:
numeric = (L(w + h) - L(w - h)) / (2 * h) # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6 # they should agree to many digitsKalau mereka tidak sama, backward pass kamu ada bug, setiap codebase DL yang serius melakukan gradient-check tepat untuk alasan ini.
Buat dua fungsi. loss(w, x, y) mengembalikan (w*x - y)**2. grad(w, x, y) mengembalikan gradien analitik dL/dw = 2*(w*x - y)*x. Tes tersembunyi akan melakukan gradient-check pada grad kamu terhadap finite difference dari loss kamu sendiri di banyak titik acak, jadi rumus yang salah tidak akan lolos. Tekan Run untuk melihat kesesuaian analitik vs numerik.
Tulis loss(w, x, y) yang mengembalikan squared error (w*x - y)**2, dan grad(w, x, y) yang mengembalikan gradient analitiknya terhadap w, yang berdasarkan aturan rantai adalah 2*(w*x - y)*x. grad kamu akan diperiksa gradientnya terhadap central finite difference dari loss milikmu sendiri di banyak titik acak, jadi itu harus turunan yang benar, bukan perkiraan atau konstanta.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.