Bola berat (momentum)
Kenapa ini penting Momentum adalah cara paling berguna untuk mengatasi lembah yang landai, dan hampir setiap optimiser yang akan kamu gunakan memilikinya.
Lihat dulu
Mainkan animasinya. Gradient descent biasa bergerak zig-zag melintasi lembah. Bola berat mempertahankan sebagian kecepatan sebelumnya: gerakan zig-zag saling meniadakan (kiri, kanan, kiri) sementara tarikan turun yang stabil di sepanjang lembah bertambah terus setiap langkahnya. Jadi bola itu melaju di dasar lembah.
Beri namaName it
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
Dengan beta = 0.9 bola mengingat sekitar 10 dorongan terakhir.
Kenapa plain descent lambat di sini
Di mangkuk ini, arah curam 50 kali lebih curam daripada arah landai. Learning rate penurunan datar dibatasi oleh arah curam: di atas 2/50 = 0.04 langkah di sepanjang lembah membesar dan meledak. Tepat di bawah batas, pada 0.039, ia zigzag di sepanjang lembah (setiap langkah melampaui dan mendarat di sisi lain) sambil merayap di sepanjang lembah, karena 0.039 adalah rate yang sangat kecil untuk arah landai. Momentum bisa menggunakan rate yang lebih besar dan menjaga kecepatannya di sepanjang lembah: ia melampaui di arah curam juga, tapi ayunan itu saling meniadakan sementara dorongan di sepanjang lantai bertambah.
(Tepat pada lr = 1/50 = 0.02 tidak ada zigzag sama sekali: satu langkah mendarat di dasar lembah, dan sisanya adalah pergerakan lambat. Coba saja.)
(Adegan menggambar lembah yang lebih landai, 25 kali lebih curam melintang, dengan beta 0.5, jadi jalurnya muat di layar; angka di pelajaran ini adalah untuk lembah 50 kali yang kamu kode.)
Momentum: jumlah kumulatif dari gradien terbaru yang menghaluskan zigzag dan membangun kecepatan ke arah yang konsisten.
Kata dan simbol di pelajaran ini
- momentum (beta)
- mempertahankan bagian kecepatan langkah terakhir
Tulis steps_plain(lr) dan steps_momentum(lr, beta): mulai dari (1, 1) pada mangkuk yang diregangkan, hitung langkah sampai jarak ke dasar di bawah 0.001 (maks 20,000). Beri masing-masing pengaturan yang bagus: plain descent dengan lr 0.039, tepat di bawah batasnya, dan momentum dengan lr 0.06 dengan beta 0.6. Momentum harus butuh maksimal sepertiga dari langkah.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.