강의 계획 레슨 246개 중 56번째 · 모듈 4: 자기만의 autograd 엔진
모듈 4: 자기만의 autograd 엔진

행렬 곱셈의 역방향

왜 중요한가 행렬 곱셈은 모든 층의 일꾼이에요. 그 역방향 규칙은 두 줄이고, 모양만으로 유도할 수 있어요.

작은 숫자

A의 모양이 (2, 3), B의 모양이 (3, 4)인 out = A @ B를 보세요, 그래서 out은 (2, 4)예요. 도착하는 기울기 G는 out의 모양 (2, 4)를 가져요. A의 기울기는 A의 모양 (2, 3)이어야 해요. G (2, 4)와 B (3, 4)로 (2, 3)을 만드는 유일한 방법은 G @ B.T예요. 마찬가지로 B의 기울기 (3, 4)는 A.T @ G여야 해요.

머릿속으로 항목 하나를 확인하세요: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. A[0, 1]을 밀면 out[0, 0]은 B[1, 0] 곱하기 밀기만큼 움직여요. 그건 G가 (0, 0)에서 1이고 그 밖에서 0일 때 G @ B.T의 (0, 1) 항목과 정확히 같아요.

요약 dA = G @ B.T, dB = A.T @ G. 잊으면 모양을 맞추세요.

이 레슨의 단어와 기호
Tensor
여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
.grad
이 Tensor에 대한 최종 손실의 기울기
unbroadcast
기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
내 차례

_backward와 함께 __matmul__을 쓰세요. 숨겨진 테스트는 무작위 모양에 대해 (A @ B) * C를 기울기 검사해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.