강의 계획 레슨 246개 중 79번째 · 모듈 6: 시작 가중치와 정규화
모듈 6: 시작 가중치와 정규화

BatchNorm이 숫자에 하는 일

왜 중요한가 BatchNorm은 2015년에 아주 깊은 신경망을 훈련할 수 있게 만들었어요. 만들기 전에 그게 숫자에 무엇을 하는지 보세요.

보기

애니메이션을 재생하세요. 층의 출력은 특성마다 자기 평균과 퍼짐을 가지고 도착해요, 어떤 건 엄청나고, 어떤 건 아주 작고, 어떤 건 옮겨져 있어요. BatchNorm은 각 특성을 현재 배치에 걸쳐 평균을 빼고 퍼짐으로 나눠요. 이제 모든 특성은 평균 0, 퍼짐 1이에요. 그다음 학습한 gamma를 곱하고 학습한 beta를 더해서, 도움이 되면 신경망이 다른 척도를 고를 수 있게 해요.

정직한 메모: BatchNorm이 왜 도움이 되는지는 여전히 논쟁 중이에요. 원래 논문의 설명("내부 공변량 이동")은 더는 받아들여지지 않고, 더 매끄러운 손실 지형과 더 큰 학습률을 허용하는 것이 더 잘 뒷받침되는 이유예요. 그게 숫자에 하는 일은 의심의 여지가 없어요.

BatchNorm: 현재 배치의 통계로 각 특성을 정규화하고, 그다음 학습한 gamma와 beta로 크기를 다시 바꾸기.

이 레슨의 단어와 기호
Xavier, LeCun, He
시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
BatchNorm (gamma, beta)
각 특성을 배치에 걸쳐 정규화하고, 그다음 학습한 gamma와 beta로 크기를 다시 바꾸기
내 차례

계산하기 전에 예측하세요: 한 특성이 배치에서 값 [2, 4, 6, 8]을 가지고, gamma는 3, beta는 1이에요. my_output을 BatchNorm이 만드는 숫자 넷으로 설정하세요(eps = 0을 쓰세요). 그다음 2D 배치에 대한 batchnorm_forward(X, gamma, beta, eps=1e-5)를 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.