Batch size dan learning rate bersamaan
Kenapa ini penting Batch size dan learning rate bukan tombol terpisah. Ubah satu, dan nilai terbaik yang lain akan berubah.
Batch yang lebih besar memberikan gradient yang lebih sedikit noise, jadi ia bisa mengambil langkah yang lebih besar dengan aman. Aturan kasar yang banyak orang mulai gunakan: jika kamu menggandakan batch size, kamu bisa menggandakan learning rate secara kasar, sampai titik di mana langkahnya menjadi tidak stabil.
Hasilnya juga berubah-ubah dari seed ke seed, jadi bandingkan pengaturan di beberapa seed, jangan cuma satu kali jalan.
Satu lagi jebakan: label di sini membawa noise dengan spread 0.1, jadi tidak ada pengaturan yang bisa mendorong loss di bawah sekitar 0.1 kuadrat = 0.01. Dekat batas bawah itu beberapa pasang seri (misalnya 0.0113 melawan 0.0114). Pemenang dengan selisih kurang dari goyangan seed-ke-seed bukanlah pemenang, jadi jalannya juga mencantumkan setiap pasang dalam rentang 5% dari yang terbaik.
Ringkasan Atur semuanya bersamaan, lalu rata-ratakan berdasarkan seeds.
Kata dan simbol di pelajaran ini
- SGD
- gradient descent menggunakan batch acak kecil
Prediksi dulu: di my_pick, tulis pasangan (batch, lr) dari grid yang menurutmu berakhir dengan loss terendah setelah 2 epoch. Lalu tulis sweep(X, y, batches, lrs, seeds) yang mengembalikan dictionary dari (batch, lr) ke rata-rata final loss dari seed (gunakan sgd yang diberikan), dan best(results) yang mengembalikan pasangan terbaik.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.