AdamW: weight decay sudah benar
Kenapa ini penting Kebanyakan model besar dilatih dengan AdamW, bukan Adam. Perbedaannya cuma satu baris, dan itu mengubah apa yang sebenarnya dilakukan oleh "weight decay".
Weight decay menarik setiap weight sedikit ke arah nol di setiap langkah, yang menghambat weight besar dan biasanya membantu model bekerja pada data baru.
- Adam dengan L2 menambahkan
wd * pke gradient sebelum penskalaan Adam. Adam kemudian membaginya dengan volume knob, jadi bobot dengan gradient keras hampir tidak meluruh sama sekali. - AdamW membiarkan gradient dan meluruhkan bobot secara langsung:
p_new = p - lr * (adam_direction + wd * p), di manapadalah bobot sebelum langkah ini. Setiap bobot meluruh dengan proporsi yang sama.
Decoupled weight decay: mengecilkan bobot secara langsung alih-alih melalui gradien. Itu adalah "W" di AdamW.
Kata dan simbol di pelajaran ini
- Adam (m, v, t)
- momentum (m) ditambah knob volume per-weight (v), dikoreksi untuk langkah awal (t)
- AdamW, weight decay
- mengurangi bobot secara langsung sedikit setiap langkah
Tulis adam_l2_step(p, g, state, lr, wd) dan adamw_step(p, g, state, lr, wd). state adalah dictionary yang menampung m, v dan t (mulai dengan dictionary kosong). Gunakan b1 = 0.9, b2 = 0.999, eps = 1e-8. Masing-masing mengembalikan p yang baru. Untuk AdamW pembaruannya adalah p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), dengan p sebagai weight sebelum step.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.