Silabus Pelajaran 67 dari 246 · Modul 5: Optimisasi
Modul 5: Optimisasi

Batch size dan learning rate bersamaan

Kenapa ini penting Batch size dan learning rate bukan tombol terpisah. Ubah satu, dan nilai terbaik yang lain akan berubah.

Batch yang lebih besar memberikan gradient yang lebih sedikit noise, jadi ia bisa mengambil langkah yang lebih besar dengan aman. Aturan kasar yang banyak orang mulai gunakan: jika kamu menggandakan batch size, kamu bisa menggandakan learning rate secara kasar, sampai titik di mana langkahnya menjadi tidak stabil.

Hasilnya juga berubah-ubah dari seed ke seed, jadi bandingkan pengaturan di beberapa seed, jangan cuma satu kali jalan.

Satu lagi jebakan: label di sini membawa noise dengan spread 0.1, jadi tidak ada pengaturan yang bisa mendorong loss di bawah sekitar 0.1 kuadrat = 0.01. Dekat batas bawah itu beberapa pasang seri (misalnya 0.0113 melawan 0.0114). Pemenang dengan selisih kurang dari goyangan seed-ke-seed bukanlah pemenang, jadi jalannya juga mencantumkan setiap pasang dalam rentang 5% dari yang terbaik.

Ringkasan Atur semuanya bersamaan, lalu rata-ratakan berdasarkan seeds.

Kata dan simbol di pelajaran ini
SGD
gradient descent menggunakan batch acak kecil
Giliranku

Prediksi dulu: di my_pick, tulis pasangan (batch, lr) dari grid yang menurutmu berakhir dengan loss terendah setelah 2 epoch. Lalu tulis sweep(X, y, batches, lrs, seeds) yang mengembalikan dictionary dari (batch, lr) ke rata-rata final loss dari seed (gunakan sgd yang diberikan), dan best(results) yang mengembalikan pasangan terbaik.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.