강의 계획 레슨 246개 중 29번째 · 모듈 2: 수학과 확률, 필요한 만큼만
모듈 2: 수학과 확률, 필요한 만큼만

행렬 전체의 기울기(모양 규칙)

왜 중요한가 층은 행렬 전체에 작동하니, 그 기울기도 행렬이에요. 규칙 하나와 요령 하나로 무엇도 외우지 않고 거의 모든 층의 역방향 단계를 유도해요.

모양 규칙

손실 L은 숫자 하나예요. 어떤 배열에 대한 L의 기울기든 정확히 그 배열의 모양을 가져요: 항목마다 기울기 하나. 그래서 W가 (3, 4)면 dL/dW는 (3, 4)예요.

작은 숫자: Y = X @ W

X가 (2, 3), W가 (3, 4), Y = X @ W가 (2, 4)이고, 나중 단계들이 Y를 L로 바꾼다고 해 봐요. 역방향이 G = dL/dY, 모양 (2, 4)를 건네줘요. 각 항목 Y[i, j]는 k에 대한 X[i, k] W[k, j]의 합이에요. W[k, j]를 밀면: j열의 모든 Y[i, j]가 X[i, k] 곱하기 밀기만큼 움직여요. 그래서 dL/dW[k, j] = i에 대한 X[i, k] G[i, j]의 합. 그건 X.T @ G의 항목 하나이고, (3, 4)예요: 규칙대로 W의 모양이에요.

X에 대해 같은 추론을 하면 dL/dX = G @ W.T, 모양 (2, 3)이 나와요. 둘 다 기억하는 빠른 방법: G를 다른 행렬의 전치와 함께, 모양이 맞는 유일한 순서로 두세요.

야코비안, 그리고 왜 아무도 그걸 만들지 않는지

모든 출력 항목이 모든 입력 항목과 함께 어떻게 움직이는지의 전체 표가 야코비안이에요. W가 1000 × 1000이고 행이 64개인 Y = X @ W에 대해, 그 표는 출력 6만 4천 개 곱하기 가중치 백만 개: 항목 640억 개예요. 역방향은 결코 그걸 만들지 않아요: 필요한 건 언제나 G 곱하기 야코비안뿐이고, 그건 작은 곱 X.T @ G예요. 그 곱이 지난 레슨의 벡터-야코비안 곱이에요.

야코비안: 모든 입력에 대한 모든 출력의 기울기를 큰 표 하나로. 벡터-야코비안 곱: 한 단계를 거슬러 민 기울기, 표 없이 바로 계산해요.

요약 그것과 같은 모양. Y = X @ W에 대해: dW = X.T @ G, dX = G @ W.T.

이 레슨의 단어와 기호
벡터
특성마다 하나씩인 숫자 리스트
도함수 (df/dx)
입력을 단위만큼 밀 때 출력이 얼마나 빨리 바뀌는지
내 차례

Y = X @ W에 대해 (dX, dW)를 반환하는 matmul_grads(X, W, G)와, Y = A * B(같은 모양, 항목별)에 대해 (dA, dB)를 반환하는 elementwise_grads(A, B, G)를 쓰세요. 숨겨진 테스트는 본 적 없는 모양에서 둘 다 살짝 밀기와 대조해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.