Mencari learning rate dengan cepat, dan memotong lonjakan
Kenapa ini penting Menebak learning rates membuang waktu berhari-hari. Satu run singkat memberitahu kamu mana yang bagus. Dan satu batch yang buruk bisa merusak sebuah run kecuali kamu membatasi step.
Uji tes rentang
Latih selama beberapa ratus langkah sambil menaikkan learning rate sedikit setiap langkah, dari kecil ke besar, dan catat loss. Awalnya tidak terjadi apa-apa; lalu loss turun cepat; lalu meledak. Learning rate yang bagus berada di mana loss turun paling cepat, sedikit di bawah ledakan. Aturan umum: ambil rate di mana loss paling rendah dan bagi dengan 10.
Clipping
Jika total ukuran gradient (panjangnya, atau norm) di atas batas, perkecil seluruh gradient ke panjang tersebut. Arahnya tetap; hanya langkah besar yang jarang terjadi yang dikendalikan.
Norm gradien: panjang dari semua gradien yang dianggap sebagai satu vektor panjang: akar kuadrat dari jumlah kuadrat mereka.
Kata dan simbol di pelajaran ini
- norm gradien, pemotongan
- ukuran total dari gradient, dan membatasinya
Tulis pick_lr(lrs, losses): learning rate saat loss terendah, dibagi 10. Dan clip(grads, max_norm): grads adalah list dari array; jika total norm mereka di atas max_norm, kembalikan semuanya yang diskalakan agar norm sama dengan max_norm, jika tidak kembalikan tanpa perubahan.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.