BatchNorm 순방향과 이동 평균
왜 중요한가 훈련 때 BatchNorm은 배치 자신의 통계를 써요. 모델을 한 번에 예시 하나씩 쓸 때는 배치가 없으니, 훈련에서 얻은 전형적인 통계를 기억해야 해요.
훈련 동안 각 특성의 평균과 분산의 이동 평균을 지니세요: running = (1 - momentum) * running + momentum * batch_value, momentum은 0.1. 평가 모드에서는 배치의 것 대신 그 이동 값으로 정규화하세요.
훈련 모드: 배치 통계를 쓰고 이동 평균을 업데이트해요. 평가 모드: 저장된 이동 평균을 쓰고 아무것도 바꾸지 않아요.
이 레슨의 단어와 기호
- Xavier, LeCun, He
- 시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
- BatchNorm (gamma, beta)
- 각 특성을 배치에 걸쳐 정규화하고, 그다음 학습한 gamma와 beta로 크기를 다시 바꾸기
gamma(1들), beta(0들), running_mean(0들), running_var(1들), training 플래그(True로 시작), 그리고 설명대로 동작하는 __call__(X)가 있는 클래스 BatchNorm(n, momentum=0.1, eps=1e-5)을 쓰세요. running_var에는 np.var가 계산하는 배치 분산(n으로 나누기)이 강좌의 선택이에요. PyTorch는 비편향 분산(n - 1로 나누기)을 지니고, 둘 다 받아들여요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.