잡음 섞인 걸음(SGD와 미니배치)
왜 중요한가 진짜 데이터셋에는 예시가 수백만 개 있어요. 매 걸음마다 그 전부로 정확한 기울기를 계산하는 건 너무 느려서, 작은 배치로 추정해요.
미니배치 기울기는 512개 전부 대신, 예를 들어 무작위 예시 32개를 써요. 대략 내리막을 가리키고, 잡음이 좀 있어요. 정확한 걸음 하나의 값으로 싸고 잡음 섞인 걸음 16개를 얻고, 실제로 그게 쉽게 이겨요.
잡음이 하는 일
손실 곡선은 매끄럽지 않고 들쭉날쭉해지고, 바닥 근처에서 완전히 자리 잡지 않아요: 최솟값 주변에서 흔들려요. 훈련 후반에 학습률을 낮추면 흔들림이 가라앉아요. 큰 신경망에서는 잡음이 도움이 되기까지 해서, 걸음을 나쁜 자리에서 흔들어 빼내요.
SGD: 확률적 경사 하강법, 기울기의 미니배치 추정을 쓰는 경사 하강법.
요약 싸고 잡음 섞인 많은 걸음이 정확한 적은 걸음을 이겨요.
이 레슨의 단어와 기호
- SGD
- 작은 무작위 배치를 쓰는 경사 하강법
- 미니배치
- 한 걸음에 쓰는 데이터의 작은 무작위 조각
선형 회귀(손실: 평균 제곱 오차)에 대해 에포크마다 섞으면서 (w, losses)를 반환하는 sgd(X, y, lr, batch, epochs, seed)를 쓰세요. losses는 각 에포크 뒤의 전체 데이터 손실이에요. 배치 32, lr 0.05, 에포크 10이면 0.02 아래에서 끝나야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.