Chương trình học Bài 71 trên tổng số 246 · Mô-đun 5: Tối ưu hóa
Mô-đun 5: Tối ưu hóa

AdamW: suy giảm trọng số làm đúng cách

Vì sao điều này quan trọng Phần lớn các mô hình lớn được huấn luyện bằng AdamW, không phải Adam. Khác biệt là một dòng, và nó thay đổi điều mà "suy giảm trọng số" thật sự làm.

Suy giảm trọng số (weight decay) kéo mọi trọng số về phía không một chút mỗi bước, điều này ngăn cản các trọng số lớn và thường giúp mô hình làm việc trên dữ liệu mới.

  • Adam với L2 cộng wd * p vào gradient trước khi Adam co giãn. Adam khi đó chia nó cho núm âm lượng, nên những trọng số có gradient to gần như không suy giảm chút nào.
  • AdamW để nguyên gradient và suy giảm trọng số trực tiếp: p_new = p - lr * (adam_direction + wd * p), trong đó p là trọng số trước bước này. Mọi trọng số suy giảm theo cùng một tỉ lệ.

Suy giảm trọng số tách rời (decoupled weight decay): co các trọng số trực tiếp thay vì qua gradient. Đó là chữ "W" trong AdamW.

Từ và ký hiệu trong bài học này
Adam (m, v, t)
momentum (m) cộng một núm âm lượng cho mỗi trọng số (v), được hiệu chỉnh cho các bước đầu (t)
AdamW, suy giảm trọng số
trực tiếp co các trọng số lại một chút mỗi bước
Đến lượt bạn

Viết adam_l2_step(p, g, state, lr, wd) và adamw_step(p, g, state, lr, wd). state là một dict giữ m, v và t (bắt đầu với một dict rỗng). Dùng b1 = 0.9, b2 = 0.999, eps = 1e-8. Mỗi hàm trả về p mới. Với AdamW cập nhật là p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), với p là trọng số từ trước bước.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.