Langkah yang berisik (SGD dan minibatches)
Kenapa ini penting Dataset asli punya jutaan contoh. Menghitung gradien yang tepat pada semuanya di setiap langkah terlalu lambat, jadi kita mengestimasinya dari batch kecil.
A minibatch gradient pakai, misalnya, 32 contoh acak alih-alih semua 512. Ini mengarah ke bawah secara kasar, dengan sedikit noise. Kamu dapat 16 langkah noisy murah dengan harga satu langkah tepat, dan dalam praktiknya itu menang dengan mudah.
Apa yang dilakukan noise
Kurva loss jadi bergerigi bukannya mulus, dan di bagian bawah tidak pernah benar-benar tenang: dia bergoyang di sekitar minimum. Menurunkan learning rate di akhir pelatihan menenangkan goyangan itu. Beberapa noise bahkan membantu di jaringan besar, mengguncang jalan keluar dari titik yang buruk.
SGD: stochastic gradient descent, gradient descent dengan estimasi gradient dari minibatch.
Ringkasan Banyak langkah berisik yang murah mengalahkan sedikit langkah yang tepat.
Kata dan simbol di pelajaran ini
- SGD
- gradient descent menggunakan batch acak kecil
- minibatch
- potongan kecil acak dari data yang digunakan untuk satu langkah
Tulis sgd(X, y, lr, batch, epochs, seed) untuk linear regression (loss: mean squared error), acak setiap epoch, kembalikan (w, losses) di mana losses adalah full-data loss setelah setiap epoch. Dengan batch 32, lr 0.05 dan 10 epoch hasilnya harus di bawah 0.02.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.