Silabus Pelajaran 69 dari 246 · Modul 5: Optimisasi
Modul 5: Optimisasi

Tombol volume per bobot (RMSProp)

Kenapa ini penting Momentum menghaluskan arah. RMSProp memperbaiki masalah lainnya: beberapa bobot mendapat gradien yang sangat besar dan yang lainnya sangat kecil, jadi satu learning rate tidak bisa cocok untuk semuanya.

RMSProp menyimpan rata-rata berjalan dari kuadrat gradient untuk setiap weight: seberapa besar biasanya gradient weight tersebut. Lalu ia membagi setiap langkah dengan akar kuadrat dari nilai itu, seperti mengecilkan volume pada weight yang keras dan memperbesar pada yang pelan.

s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)

Di mangkuk yang landai, arah yang curam punya gradien yang keras dan diturunkan, arah yang landai dinaikkan, dan mangkuk berperilaku hampir seolah bulat. Itu berhasil di sini karena arah curam dan landai mangkuk sejajar dengan dua bobot. Miringkan lembah 45 derajat, sehingga setiap bobot melihat campuran dari kedua arah, dan tombol volume per bobot tidak bisa memisahkan mereka: RMSProp dan Adam kemudian membantu jauh lebih sedikit. Mereka mengubah skala berdasarkan seberapa keras gradien setiap bobot, bukan berdasarkan bentuk asli lembah.

eps: angka kecil seperti 1e-8 untuk mencegah pembagian dengan nol.

Kata dan simbol di pelajaran ini
momentum (beta)
mempertahankan bagian kecepatan langkah terakhir
RMSProp
membagi langkah setiap bobot dengan seberapa besar gradiennya biasanya
Adam (m, v, t)
momentum (m) ditambah knob volume per-weight (v), dikoreksi untuk langkah awal (t)
Giliranku

Tulis rmsprop(grad, start, lr, rho, steps, eps=1e-8) yang mengembalikan posisi akhir. Tes tersembunyi membandingkan posisimu dengan referensi setelah beberapa langkah.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.