강의 계획 레슨 246개 중 151번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

트랜스포머 블록 하나, 손으로

왜 중요한가 GPT는 같은 블록을 쌓은 거예요. 평범한 NumPy로 하나를 쓰고, 기록된 모델의 진짜 가중치로 실행해서, 숫자가 모델 자신의 것과 맞으면 트랜스포머의 모든 줄을 이해한 거예요.

보기

애니메이션을 재생하세요. 블록은 h(위치 t개 × d)를 받아서 두 가지를 하고, 각각 h에 다시 더해요(모듈 6의 잔차 경로):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

기록된 모델의 이름: qkv{l}은 Wq, Wk, Wv를 나란히(d × 3d) 담고, o{l}은 Wo이고, g1{l}, b1{l}과 g2{l}, b2{l}은 두 층 정규화이고, w1{l}, w2{l}은 피드포워드예요. 헤드 h는 Q, K, V 각각의 h 곱하기 16부터 (h + 1) 곱하기 16까지의 열을 써요.

이 레슨의 단어와 기호
어텐션
query-key 점수의 softmax로 value를 평균 내기
헤드
나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
층 정규화
각 벡터를 따로 정규화하기: 평균 0, 퍼짐 1, 그다음 곱하기 g 더하기 b
트랜스포머 블록
h + attention(norm(h)), 그다음 h + feed-forward(norm(h))
내 차례

시퀀스 하나에 대해 block(h, l)을 쓰세요(h는 t × d). 전체 모델은 조립해 두었고, 그 로짓이 model.logits와 맞아야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.