강의 계획 레슨 246개 중 57번째 · 모듈 4: 자기만의 autograd 엔진
모듈 4: 자기만의 autograd 엔진

모양이 늘어날 때의 역방향(브로드캐스팅)

왜 중요한가 이게 세상에서 가장 흔한 autograd 버그예요. 모양 (32, 4)인 배치에 더한 모양 (4,)인 편향은 32번 쓰이니, 그 기울기는 32개 몫을 모두 더해야 해요.

작은 숫자

X가 (3, 2), b가 (2,)인 out = X + b. 도착하는 기울기는 (3, 2)예요. b는 3개 행 모두에 복사됐으니, 각 복사본이 몫을 받았어요: b의 기울기는 행들에 걸친 합, 모양 (2,)예요. (3, 2) 배열을 돌려주면 모양이 더는 맞지 않거나, 더 나쁘게는 브로드캐스팅이 그걸 숨겨서 숫자가 3배 틀려요.

규칙: 브로드캐스팅이 방향을 더한 곳에서는 합해서 없애고, 크기 1인 방향을 늘린 곳에서는 합하되 크기 1로 유지하세요.

요약 앞으로 복사됐으면 뒤로는 합해져요.

이 레슨의 단어와 기호
autograd
자동 기울기: 순방향 단계를 쓰면 엔진이 역방향을 해요
Tensor
여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
.grad
이 Tensor에 대한 최종 손실의 기울기
unbroadcast
기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
내 차례

unbroadcast(grad, shape)를 쓰세요: grad를 shape까지 합해 줄이세요. 덧셈과 곱셈은 이미 그걸 호출해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.