AdamW: suy giảm trọng số làm đúng cách
Vì sao điều này quan trọng Phần lớn các mô hình lớn được huấn luyện bằng AdamW, không phải Adam. Khác biệt là một dòng, và nó thay đổi điều mà "suy giảm trọng số" thật sự làm.
Suy giảm trọng số (weight decay) kéo mọi trọng số về phía không một chút mỗi bước, điều này ngăn cản các trọng số lớn và thường giúp mô hình làm việc trên dữ liệu mới.
- Adam với L2 cộng
wd * pvào gradient trước khi Adam co giãn. Adam khi đó chia nó cho núm âm lượng, nên những trọng số có gradient to gần như không suy giảm chút nào. - AdamW để nguyên gradient và suy giảm trọng số trực tiếp:
p_new = p - lr * (adam_direction + wd * p), trong đóplà trọng số trước bước này. Mọi trọng số suy giảm theo cùng một tỉ lệ.
Suy giảm trọng số tách rời (decoupled weight decay): co các trọng số trực tiếp thay vì qua gradient. Đó là chữ "W" trong AdamW.
Từ và ký hiệu trong bài học này
- Adam (m, v, t)
- momentum (m) cộng một núm âm lượng cho mỗi trọng số (v), được hiệu chỉnh cho các bước đầu (t)
- AdamW, suy giảm trọng số
- trực tiếp co các trọng số lại một chút mỗi bước
Viết adam_l2_step(p, g, state, lr, wd) và adamw_step(p, g, state, lr, wd). state là một dict giữ m, v và t (bắt đầu với một dict rỗng). Dùng b1 = 0.9, b2 = 0.999, eps = 1e-8. Mỗi hàm trả về p mới. Với AdamW cập nhật là p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), với p là trọng số từ trước bước.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.