매개변수는 어디에 있나
왜 중요한가 "매개변수 70억 개짜리 모델"은 더 큰 d에서의 이 산술일 뿐이에요. 셀 수 있으면 메모리가 어디로 가는지, 왜 폭이 비싼지 알 수 있어요.
블록마다 큰 행렬은 Wq, Wk, Wv, Wo(d × d 넷: 4d 제곱)와 피드포워드(d × 4d와 4d × d: 8d 제곱)예요. 그게 12 d 제곱이고, 더하기 층 정규화를 위한 길이 d인 벡터 몇 개.
블록 바깥: 토큰 임베딩(V × d, 이 모델에서는 출력 층으로도 재사용), 위치 벡터(ctx × d), 마지막 층 정규화.
d를 두 배로 하면 블록 매개변수는 4배가 되지만, 시간은 4배가 아니에요. 기록된 폭 128 실행은 평균적으로 폭 64보다 약 2.3배 오래 걸렸고(실행마다 1.1배에서 4배까지: 공유 기계의 벽시계 시간은 잡음이 많아요), 폭 32는 폭 64보다 빠르지 않았어요. 이렇게 작은 모델에서는 걸음마다의 고정 비용(Python, 작은 배열)이 시간의 큰 부분이에요. 4배는 행렬 곱셈이 지배할 때에야 드러나요.
이 레슨의 단어와 기호
- 헤드
- 나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
- 위치 벡터
- 어텐션이 순서를 알 수 있도록 각 토큰에 더하는 것
- 층 정규화
- 각 벡터를 따로 정규화하기: 평균 0, 퍼짐 1, 그다음 곱하기 g 더하기 b
- 12 d 제곱
- 블록 하나의 행렬에 있는 매개변수
이 GPT의 정확한 매개변수 수를 반환하는 count(V, d, layers, ctx)를 쓰세요(각 블록에는 12 d 제곱 + 4d가 있어요: g와 b가 있는 층 정규화 둘). 진짜 모델과 맞아야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.