모듈 5: 최적화
워밍업과 코사인 스케줄
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 가장 좋은 학습률은 훈련 내내 같지 않아요. 큰 모델은 거의 언제나 스케줄로 훈련해요: 부드러운 시작, 길고 높은 중간, 느린 착륙.
보기
애니메이션을 재생하세요. 워밍업: 학습률이 처음 몇백 걸음 동안 0 근처에서 정점까지 직선으로 올라가요, 맨 처음에는 기울기가 크고 믿을 수 없으니까요. 코사인 감쇠: 그다음 코사인파 절반을 따라 작은 바닥까지 미끄러져 내려와서, 훈련 후반에는 작고 조심스러운 걸음을 딛고 좋은 자리에 자리 잡아요.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
요약 올라가고, 순항하고, 미끄러져 내려오세요.
이 레슨의 단어와 기호
- 워밍업, 코사인
- 학습률을 작게 시작하고, 그다음 코사인을 따라 미끄러져 내리기
내 차례
위의 공식을 따라 lr_at(step, total, warmup, peak, floor)을 쓰세요(걸음은 0부터 세요).
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.