PyTorch로 말하는 자기 엔진
왜 중요한가 이 강좌 다음 날 PyTorch(또는 다른 프레임워크)를 만날 거예요. 만든 모든 것이 거기 대응돼요. 몇 가지 관례만 다르고, 사람들이 코드를 옮길 때 그게 버그 대부분을 일으켜요.
PyTorch는 이 브라우저에서 돌 수 없어서, 이 레슨은 NumPy로 강좌의 배열을 PyTorch의 배치로 바꾸고, 그 변환을 정확히 확인해요.
| 항목 | 이 강좌 | PyTorch |
|---|---|---|
| 선형 가중치 | W는 (n_in, n_out), 출력 x @ W + b | weight는 (out, in), 출력 x @ weight.T + bias |
| 시작 가중치 | 모든 층에 퍼짐 sqrt(2 / n_in)(He)의 정규 분포, 편향 0 | nn.Linear 기본값: 약 ±1 / sqrt(n_in) 안의 균등 분포, 편향도 균등 |
| 이미지 | 채널 마지막, (N, H, W, C) | 채널 먼저, (N, C, H, W) |
| Conv 가중치 | (k × k × C_in, C_out), 행은 (row, column, channel) 순서 | (C_out, C_in, k, k) |
| BatchNorm 이동 분산 | n으로 나누는 배치 분산 | n - 1로 나누는 비편향 분산(정규화는 여전히 n을 써요) |
| 기울기 지우기 | 강좌의 Adam.step()이 직접 지워요 | 매 걸음 optimizer.zero_grad()를 호출해요 |
어떤 텐서가 .grad를 지니나 | 그래프의 모든 노드 | retain_grad()를 호출하지 않는 한, 가중치 같은 잎 텐서만 |
| GELU | z * sigmoid(1.702 z), 근사 | 기본값은 erf를 쓰는 정확한 형태. 빠른 것은 approximate='tanh' |
| LSTM | [x, h]에 대한 가중치 행렬 하나, forget 편향은 1이나 3으로 시작 | 입력과 은닉 가중치가 따로이고 편향 둘, 모두 작고 무작위로 시작 |
| 작은 GPT 블록 | ReLU, 선형 층에 편향 없음: 가중치 12d² + 4d | GPT-2: GELU와 편향: 12d² + 13d |
어느 것도 틀리지 않았어요. 선택이에요. 옮기기를 조용히 망가뜨리는 건 배치예요: 전치된 선형 가중치나 채널 마지막 이미지는 크기가 마침 맞으면 오류 없이 틀린 숫자를 줘요.
이 레슨의 단어와 기호
- 헤드
- 나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
PyTorch의 (weight, bias)를 반환하는 linear_to_torch(W, b), nhwc_to_nchw(X), (C_out, C_in, k, k) 가중치를 반환하는 conv_to_torch(w, c_in), 그리고 n으로 나눈 분산을 n - 1로 나눈 분산으로 바꾸는 unbiased(var, n)을 쓰세요. 숨겨진 테스트는 PyTorch 방식으로 쓴 채널 먼저 합성곱을 자기 가중치로 실행하고 강좌의 conv와 비교해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.