Silabus Pelajaran 66 dari 246 · Modul 5: Optimisasi
Modul 5: Optimisasi

Langkah yang berisik (SGD dan minibatches)

Kenapa ini penting Dataset asli punya jutaan contoh. Menghitung gradien yang tepat pada semuanya di setiap langkah terlalu lambat, jadi kita mengestimasinya dari batch kecil.

A minibatch gradient pakai, misalnya, 32 contoh acak alih-alih semua 512. Ini mengarah ke bawah secara kasar, dengan sedikit noise. Kamu dapat 16 langkah noisy murah dengan harga satu langkah tepat, dan dalam praktiknya itu menang dengan mudah.

Apa yang dilakukan noise

Kurva loss jadi bergerigi bukannya mulus, dan di bagian bawah tidak pernah benar-benar tenang: dia bergoyang di sekitar minimum. Menurunkan learning rate di akhir pelatihan menenangkan goyangan itu. Beberapa noise bahkan membantu di jaringan besar, mengguncang jalan keluar dari titik yang buruk.

SGD: stochastic gradient descent, gradient descent dengan estimasi gradient dari minibatch.

Ringkasan Banyak langkah berisik yang murah mengalahkan sedikit langkah yang tepat.

Kata dan simbol di pelajaran ini
SGD
gradient descent menggunakan batch acak kecil
minibatch
potongan kecil acak dari data yang digunakan untuk satu langkah
Giliranku

Tulis sgd(X, y, lr, batch, epochs, seed) untuk linear regression (loss: mean squared error), acak setiap epoch, kembalikan (w, losses) di mana losses adalah full-data loss setelah setiap epoch. Dengan batch 32, lr 0.05 dan 10 epoch hasilnya harus di bawah 0.02.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.