모듈 6: 시작 가중치와 정규화
LayerNorm과 RMSNorm
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 트랜스포머는 BatchNorm을 쓰지 않아요. 각 예시를 따로 정규화하는데, 그러면 방금 만난 배치 덫을 피하고 어떤 배치 크기에서든 돼요.
- LayerNorm은 각 예시(각 행)의 특성들에 걸쳐 정규화해요: 행의 평균을 빼고, 행의 퍼짐으로 나누고, 그다음 특성별 gamma와 beta. 훈련과 사용에서 똑같아요.
- RMSNorm은 더 단순하고 최근 많은 언어 모델이 써요: 평균은 건너뛰고, 각 행을 그 제곱평균제곱근
sqrt(mean(x squared) + eps)로 나누고, 그다음 gamma를 곱해요.
작은 숫자
행 [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm은 [0.849, 1.131]을 줘요. LayerNorm은 평균 3.5를 먼저 빼요: [-1, 1].
이 레슨의 단어와 기호
- Xavier, LeCun, He
- 시작 퍼짐: tanh에는 sqrt(2 / (inputs + outputs)) 또는 1 / sqrt(inputs), ReLU에는 sqrt(2 / inputs)
- BatchNorm (gamma, beta)
- 각 특성을 배치에 걸쳐 정규화하고, 그다음 학습한 gamma와 beta로 크기를 다시 바꾸기
- LayerNorm, RMSNorm
- 각 예시를 따로, 그 특성들에 걸쳐 정규화하기
내 차례
둘 다 행별로 layernorm(X, gamma, beta, eps=1e-5)와 rmsnorm(X, gamma, eps=1e-6)을 쓰세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.