강의 계획 레슨 246개 중 152번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

매개변수는 어디에 있나

왜 중요한가 "매개변수 70억 개짜리 모델"은 더 큰 d에서의 이 산술일 뿐이에요. 셀 수 있으면 메모리가 어디로 가는지, 왜 폭이 비싼지 알 수 있어요.

블록마다 큰 행렬은 Wq, Wk, Wv, Wo(d × d 넷: 4d 제곱)와 피드포워드(d × 4d와 4d × d: 8d 제곱)예요. 그게 12 d 제곱이고, 더하기 층 정규화를 위한 길이 d인 벡터 몇 개.

블록 바깥: 토큰 임베딩(V × d, 이 모델에서는 출력 층으로도 재사용), 위치 벡터(ctx × d), 마지막 층 정규화.

d를 두 배로 하면 블록 매개변수는 4배가 되지만, 시간은 4배가 아니에요. 기록된 폭 128 실행은 평균적으로 폭 64보다 약 2.3배 오래 걸렸고(실행마다 1.1배에서 4배까지: 공유 기계의 벽시계 시간은 잡음이 많아요), 폭 32는 폭 64보다 빠르지 않았어요. 이렇게 작은 모델에서는 걸음마다의 고정 비용(Python, 작은 배열)이 시간의 큰 부분이에요. 4배는 행렬 곱셈이 지배할 때에야 드러나요.

이 레슨의 단어와 기호
헤드
나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
위치 벡터
어텐션이 순서를 알 수 있도록 각 토큰에 더하는 것
층 정규화
각 벡터를 따로 정규화하기: 평균 0, 퍼짐 1, 그다음 곱하기 g 더하기 b
12 d 제곱
블록 하나의 행렬에 있는 매개변수
내 차례

이 GPT의 정확한 매개변수 수를 반환하는 count(V, d, layers, ctx)를 쓰세요(각 블록에는 12 d 제곱 + 4d가 있어요: g와 b가 있는 층 정규화 둘). 진짜 모델과 맞아야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.