강의 계획 레슨 246개 중 71번째 · 모듈 5: 최적화
모듈 5: 최적화

AdamW: 제대로 한 가중치 감쇠

왜 중요한가 대부분의 큰 모델은 Adam이 아니라 AdamW로 훈련해요. 차이는 한 줄이고, "가중치 감쇠"가 실제로 하는 일을 바꿔요.

가중치 감쇠는 매 걸음 모든 가중치를 0 쪽으로 조금 당겨서, 큰 가중치를 억제하고 보통 모델이 새 데이터에서 잘 작동하게 도와요.

  • L2가 있는 Adam은 Adam의 크기 조정 전에 기울기에 wd * p를 더해요. 그러면 Adam이 그걸 볼륨 손잡이로 나눠서, 기울기가 시끄러운 가중치는 거의 감쇠하지 않아요.
  • AdamW는 기울기는 그대로 두고 가중치를 직접 감쇠해요: p_new = p - lr * (adam_direction + wd * p), 여기서 p는 이 걸음 전의 가중치예요. 모든 가중치가 같은 비율로 감쇠해요.

분리된 가중치 감쇠: 기울기를 거치지 않고 가중치를 직접 줄이기. 그게 AdamW의 "W"예요.

이 레슨의 단어와 기호
Adam (m, v, t)
모멘텀(m) 더하기 가중치별 볼륨 손잡이(v), 초기 걸음에 대해 보정(t)
AdamW, 가중치 감쇠
매 걸음 가중치를 직접 조금 줄이기
내 차례

adam_l2_step(p, g, state, lr, wd)와 adamw_step(p, g, state, lr, wd)를 쓰세요. state는 m, v, t를 담는 딕셔너리예요(빈 딕셔너리로 시작하세요). b1 = 0.9, b2 = 0.999, eps = 1e-8을 쓰세요. 각각 새 p를 반환해요. AdamW의 업데이트는 p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p)이고, p는 걸음 전의 가중치예요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.