강의 계획 레슨 246개 중 81번째 · 모듈 6: 시작 가중치와 정규화
모듈 6: 시작 가중치와 정규화

숫자 3개짜리 배치에서의 BatchNorm 역방향(선택)

왜 중요한가 이게 1부에서 가장 어려운 역방향 규칙이고, 선택이에요. 교훈: 모든 출력이 (평균과 퍼짐을 통해) 모든 입력에 달려 있으면, 기울기에 추가 항이 붙어요.

먼저 배치 3개짜리 특성 하나로 풀어 보세요. x_hat = (x - mean) / spread이고 y = gamma x_hat + beta일 때, x에 대한 기울기는 그냥 gamma / spread 곱하기 도착하는 기울기가 아니에요. x 하나를 밀면 평균과 퍼짐이 움직이고, 그게 다른 모든 출력도 움직여요. g가 도착하는 기울기이고 N이 배치 크기일 때, 특성별 결과:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

이렇게 읽으세요: 평범한 기울기, 빼기 모든 걸 함께 옮기기만 한 부분(평균 항), 빼기 모든 걸 함께 늘이기만 한 부분(퍼짐 항). 그 두 부분은 정규화 자체가 상쇄해요.

막히면 힌트에서 풀이가 열려요. 이 레슨을 건너뛰어도 아무것도 막히지 않아요.

이 레슨의 단어와 기호
Xavier, LeCun, He
시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
BatchNorm (gamma, beta)
각 특성을 배치에 걸쳐 정규화하고, 그다음 학습한 gamma와 beta로 크기를 다시 바꾸기
내 차례

2D 배치에 대해 (dX, dgamma, dbeta)를 반환하는 batchnorm_backward(X, gamma, g, eps=1e-5)를 쓰세요. g는 출력에 도착하는 기울기예요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.