강의 계획 레슨 246개 중 67번째 · 모듈 5: 최적화
모듈 5: 최적화

배치 크기와 학습률을 함께

왜 중요한가 배치 크기와 학습률은 따로따로인 손잡이가 아니에요. 하나를 바꾸면 다른 것의 최선 값이 움직여요.

배치가 클수록 기울기의 잡음이 적어서, 더 큰 걸음을 안전하게 디딜 수 있어요. 많은 사람이 출발점으로 쓰는 대략적인 규칙: 배치 크기를 두 배로 하면 학습률도 대략 두 배로 할 수 있어요, 걸음이 불안정해지는 지점까지는요.

결과는 시드마다 흔들리기도 하니, 설정은 실행 하나가 아니라 여러 시드에 걸쳐 비교하세요.

덫이 하나 더 있어요: 여기 레이블에는 퍼짐 0.1의 잡음이 있어서, 어떤 설정도 손실을 약 0.1 제곱 = 0.01 아래로 밀 수 없어요. 그 바닥 근처에서는 여러 쌍이 비겨요(예를 들어 0.0113 대 0.0114). 시드 사이의 흔들림보다 작은 차이로 이긴 "승자"는 승자가 아니니, 실행은 최선에서 5% 안에 있는 모든 쌍도 나열해요.

요약 함께 조정하고, 시드에 걸쳐 평균 내세요.

이 레슨의 단어와 기호
SGD
작은 무작위 배치를 쓰는 경사 하강법
내 차례

먼저 예측하세요: my_pick에 에포크 2번 뒤 가장 낮은 손실로 끝날 것 같은 격자의 (batch, lr) 쌍을 쓰세요. 그다음 (batch, lr)에서 시드에 걸친 평균 최종 손실로 가는 딕셔너리를 반환하는 sweep(X, y, batches, lrs, seeds)(주어진 sgd를 쓰세요)와 가장 좋은 쌍을 반환하는 best(results)를 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.