강의 계획 레슨 246개 중 58번째 · 모듈 4: 자기만의 autograd 엔진
모듈 4: 자기만의 autograd 엔진

합, 평균, reshape, 전치

왜 중요한가 손실은 합이나 평균이고, 층은 늘 reshape와 전치를 해요. 각각 역방향 규칙이 필요하고, 각 규칙은 한 줄이에요.

  • sum(숫자 하나로): 모든 항목이 기울기 1로 기여했으니, 각각 도착하는 기울기를 받아요. 기울기: 입력 모양의 1들 곱하기 out.grad.
  • mean: 합 곱하기 1/size. sum과 곱셈으로 만들면 자기 규칙이 필요 없어요.
  • reshape: 값은 재배열될 뿐이니, 기울기를 입력의 모양으로 다시 reshape하세요.
  • transpose: 기울기를 다시 전치하세요.

요약 숫자를 옮기면 기울기도 같은 식으로 되돌려 옮겨져요.

이 레슨의 단어와 기호
Tensor
여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
.grad
이 Tensor에 대한 최종 손실의 기울기
unbroadcast
기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
내 차례

역방향 규칙과 함께 sum, mean, reshape, T 속성을 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.