강의 계획 레슨 246개 중 83번째 · 모듈 6: 시작 가중치와 정규화
모듈 6: 시작 가중치와 정규화

LayerNorm과 RMSNorm

왜 중요한가 트랜스포머는 BatchNorm을 쓰지 않아요. 각 예시를 따로 정규화하는데, 그러면 방금 만난 배치 덫을 피하고 어떤 배치 크기에서든 돼요.

  • LayerNorm은 각 예시(각 행)의 특성들에 걸쳐 정규화해요: 행의 평균을 빼고, 행의 퍼짐으로 나누고, 그다음 특성별 gamma와 beta. 훈련과 사용에서 똑같아요.
  • RMSNorm은 더 단순하고 최근 많은 언어 모델이 써요: 평균은 건너뛰고, 각 행을 그 제곱평균제곱근 sqrt(mean(x squared) + eps)로 나누고, 그다음 gamma를 곱해요.

작은 숫자

행 [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm은 [0.849, 1.131]을 줘요. LayerNorm은 평균 3.5를 먼저 빼요: [-1, 1].

이 레슨의 단어와 기호
Xavier, LeCun, He
시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
BatchNorm (gamma, beta)
각 특성을 배치에 걸쳐 정규화하고, 그다음 학습한 gamma와 beta로 크기를 다시 바꾸기
LayerNorm, RMSNorm
각 예시를 따로, 그 특성들에 걸쳐 정규화하기
내 차례

둘 다 행별로 layernorm(X, gamma, beta, eps=1e-5)와 rmsnorm(X, gamma, eps=1e-6)을 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.