강의 계획 레슨 246개 중 150번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

층 정규화: 각 벡터를 범위 안에 지키기

왜 중요한가 모듈 6은 배치에 걸쳐 평균 내는 배치 정규화로 활성화를 건강하게 지켰어요. 텍스트 배치는 길이가 다르고 생성은 한 번에 시퀀스 하나씩 돌아서, 트랜스포머는 각 위치의 벡터를 따로 정규화해요: 층 정규화.

숫자 d개인 벡터 x 하나에 대해: 평균을 빼고, 표준 편차(0으로 나누지 않도록 아주 작은 엡실론 1e-5를 더해서)로 나누고, 그다음 학습된 g와 b로 크기를 바꾸고 옮기세요:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

모든 토큰의 벡터는 누적 합이 얼마나 커졌든 평균 0, 퍼짐 1로 각 어텐션과 각 피드포워드 부분에 들어가요.

이 레슨의 단어와 기호
어텐션
query-key 점수의 softmax로 value를 평균 내기
층 정규화
각 벡터를 따로 정규화하기: 평균 0, 퍼짐 1, 그다음 곱하기 g 더하기 b
내 차례

마지막 축을 따라 정규화하는, 어떤 모양의 배열에 대해서든 layer_norm(x, g, b)를 쓰세요. 강좌 엔진의 layernorm과 맞아야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.