강의 계획 레슨 246개 중 157번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

PyTorch로 말하는 자기 엔진

왜 중요한가 이 강좌 다음 날 PyTorch(또는 다른 프레임워크)를 만날 거예요. 만든 모든 것이 거기 대응돼요. 몇 가지 관례만 다르고, 사람들이 코드를 옮길 때 그게 버그 대부분을 일으켜요.

PyTorch는 이 브라우저에서 돌 수 없어서, 이 레슨은 NumPy로 강좌의 배열을 PyTorch의 배치로 바꾸고, 그 변환을 정확히 확인해요.

항목이 강좌PyTorch
선형 가중치W는 (n_in, n_out), 출력 x @ W + bweight는 (out, in), 출력 x @ weight.T + bias
시작 가중치모든 층에 퍼짐 sqrt(2 / n_in)(He)의 정규 분포, 편향 0nn.Linear 기본값: 약 ±1 / sqrt(n_in) 안의 균등 분포, 편향도 균등
이미지채널 마지막, (N, H, W, C)채널 먼저, (N, C, H, W)
Conv 가중치(k × k × C_in, C_out), 행은 (row, column, channel) 순서(C_out, C_in, k, k)
BatchNorm 이동 분산n으로 나누는 배치 분산n - 1로 나누는 비편향 분산(정규화는 여전히 n을 써요)
기울기 지우기강좌의 Adam.step()이 직접 지워요매 걸음 optimizer.zero_grad()를 호출해요
어떤 텐서가 .grad를 지니나그래프의 모든 노드retain_grad()를 호출하지 않는 한, 가중치 같은 잎 텐서만
GELUz * sigmoid(1.702 z), 근사기본값은 erf를 쓰는 정확한 형태. 빠른 것은 approximate='tanh'
LSTM[x, h]에 대한 가중치 행렬 하나, forget 편향은 1이나 3으로 시작입력과 은닉 가중치가 따로이고 편향 둘, 모두 작고 무작위로 시작
작은 GPT 블록ReLU, 선형 층에 편향 없음: 가중치 12d² + 4dGPT-2: GELU와 편향: 12d² + 13d

어느 것도 틀리지 않았어요. 선택이에요. 옮기기를 조용히 망가뜨리는 건 배치예요: 전치된 선형 가중치나 채널 마지막 이미지는 크기가 마침 맞으면 오류 없이 틀린 숫자를 줘요.

이 레슨의 단어와 기호
헤드
나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
내 차례

PyTorch의 (weight, bias)를 반환하는 linear_to_torch(W, b), nhwc_to_nchw(X), (C_out, C_in, k, k) 가중치를 반환하는 conv_to_torch(w, c_in), 그리고 n으로 나눈 분산을 n - 1로 나눈 분산으로 바꾸는 unbiased(var, n)을 쓰세요. 숨겨진 테스트는 PyTorch 방식으로 쓴 채널 먼저 합성곱을 자기 가중치로 실행하고 강좌의 conv와 비교해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.