Silabus Pelajaran 71 dari 246 · Modul 5: Optimisasi
Modul 5: Optimisasi

AdamW: weight decay sudah benar

Kenapa ini penting Kebanyakan model besar dilatih dengan AdamW, bukan Adam. Perbedaannya cuma satu baris, dan itu mengubah apa yang sebenarnya dilakukan oleh "weight decay".

Weight decay menarik setiap weight sedikit ke arah nol di setiap langkah, yang menghambat weight besar dan biasanya membantu model bekerja pada data baru.

  • Adam dengan L2 menambahkan wd * p ke gradient sebelum penskalaan Adam. Adam kemudian membaginya dengan volume knob, jadi bobot dengan gradient keras hampir tidak meluruh sama sekali.
  • AdamW membiarkan gradient dan meluruhkan bobot secara langsung: p_new = p - lr * (adam_direction + wd * p), di mana p adalah bobot sebelum langkah ini. Setiap bobot meluruh dengan proporsi yang sama.

Decoupled weight decay: mengecilkan bobot secara langsung alih-alih melalui gradien. Itu adalah "W" di AdamW.

Kata dan simbol di pelajaran ini
Adam (m, v, t)
momentum (m) ditambah knob volume per-weight (v), dikoreksi untuk langkah awal (t)
AdamW, weight decay
mengurangi bobot secara langsung sedikit setiap langkah
Giliranku

Tulis adam_l2_step(p, g, state, lr, wd) dan adamw_step(p, g, state, lr, wd). state adalah dictionary yang menampung m, v dan t (mulai dengan dictionary kosong). Gunakan b1 = 0.9, b2 = 0.999, eps = 1e-8. Masing-masing mengembalikan p yang baru. Untuk AdamW pembaruannya adalah p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), dengan p sebagai weight sebelum step.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.