BatchNorm이 숫자에 하는 일
왜 중요한가 BatchNorm은 2015년에 아주 깊은 신경망을 훈련할 수 있게 만들었어요. 만들기 전에 그게 숫자에 무엇을 하는지 보세요.
보기
애니메이션을 재생하세요. 층의 출력은 특성마다 자기 평균과 퍼짐을 가지고 도착해요, 어떤 건 엄청나고, 어떤 건 아주 작고, 어떤 건 옮겨져 있어요. BatchNorm은 각 특성을 현재 배치에 걸쳐 평균을 빼고 퍼짐으로 나눠요. 이제 모든 특성은 평균 0, 퍼짐 1이에요. 그다음 학습한 gamma를 곱하고 학습한 beta를 더해서, 도움이 되면 신경망이 다른 척도를 고를 수 있게 해요.
정직한 메모: BatchNorm이 왜 도움이 되는지는 여전히 논쟁 중이에요. 원래 논문의 설명("내부 공변량 이동")은 더는 받아들여지지 않고, 더 매끄러운 손실 지형과 더 큰 학습률을 허용하는 것이 더 잘 뒷받침되는 이유예요. 그게 숫자에 하는 일은 의심의 여지가 없어요.
BatchNorm: 현재 배치의 통계로 각 특성을 정규화하고, 그다음 학습한 gamma와 beta로 크기를 다시 바꾸기.
이 레슨의 단어와 기호
- Xavier, LeCun, He
- 시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
- BatchNorm (gamma, beta)
- 각 특성을 배치에 걸쳐 정규화하고, 그다음 학습한 gamma와 beta로 크기를 다시 바꾸기
계산하기 전에 예측하세요: 한 특성이 배치에서 값 [2, 4, 6, 8]을 가지고, gamma는 3, beta는 1이에요. my_output을 BatchNorm이 만드는 숫자 넷으로 설정하세요(eps = 0을 쓰세요). 그다음 2D 배치에 대한 batchnorm_forward(X, gamma, beta, eps=1e-5)를 쓰세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.