Tombol volume per bobot (RMSProp)
Kenapa ini penting Momentum menghaluskan arah. RMSProp memperbaiki masalah lainnya: beberapa bobot mendapat gradien yang sangat besar dan yang lainnya sangat kecil, jadi satu learning rate tidak bisa cocok untuk semuanya.
RMSProp menyimpan rata-rata berjalan dari kuadrat gradient untuk setiap weight: seberapa besar biasanya gradient weight tersebut. Lalu ia membagi setiap langkah dengan akar kuadrat dari nilai itu, seperti mengecilkan volume pada weight yang keras dan memperbesar pada yang pelan.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
Di mangkuk yang landai, arah yang curam punya gradien yang keras dan diturunkan, arah yang landai dinaikkan, dan mangkuk berperilaku hampir seolah bulat. Itu berhasil di sini karena arah curam dan landai mangkuk sejajar dengan dua bobot. Miringkan lembah 45 derajat, sehingga setiap bobot melihat campuran dari kedua arah, dan tombol volume per bobot tidak bisa memisahkan mereka: RMSProp dan Adam kemudian membantu jauh lebih sedikit. Mereka mengubah skala berdasarkan seberapa keras gradien setiap bobot, bukan berdasarkan bentuk asli lembah.
eps: angka kecil seperti 1e-8 untuk mencegah pembagian dengan nol.
Kata dan simbol di pelajaran ini
- momentum (beta)
- mempertahankan bagian kecepatan langkah terakhir
- RMSProp
- membagi langkah setiap bobot dengan seberapa besar gradiennya biasanya
- Adam (m, v, t)
- momentum (m) ditambah knob volume per-weight (v), dikoreksi untuk langkah awal (t)
Tulis rmsprop(grad, start, lr, rho, steps, eps=1e-8) yang mengembalikan posisi akhir. Tes tersembunyi membandingkan posisimu dengan referensi setelah beberapa langkah.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.