모듈 4: 자기만의 autograd 엔진
덧셈과 곱셈의 역방향
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 이 두 규칙과 순서로, 엔진은 이미 합과 곱으로 된 어떤 공식이든 미분할 수 있어요.
각 연산은 자기가 만드는 Tensor에 작은 함수 _backward를 붙여요. 호출되면 out.grad를 읽고 각 부모의 grad에 자기 몫을 더해요:
out = a + b에서: a는out.grad를, b는out.grad를 받아요.out = a * b에서: a는out.grad * b.data를, b는out.grad * a.data를 받아요.
언제나 부모의 grad에 더하고(+= 식으로), 결코 덮어쓰지 마세요: 두 번 쓰인 노드는 두 몫을 모두 모아야 해요. 그다음 backward()는 마지막 노드의 grad를 1로 설정하고 모든 _backward를 위상 순서의 역순으로 호출해요.
(맨 위에서 불러온 제공된 unbroadcast 도우미가 브로드캐스팅으로 늘어난 모양을 다뤄요. 두 레슨 뒤에 자기 버전을 쓸 거예요. 지금은 각 몫을 그걸로 감싸세요.)
이 레슨의 단어와 기호
- Tensor
- 여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
- 위상 순서
- 모든 노드가 자기가 의존하는 노드들 뒤에 나열된 것
- .grad
- 이 Tensor에 대한 최종 손실의 기울기
- unbroadcast
- 기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
내 차례
두 _backward 함수와 backward 메서드를 채우세요. 숨겨진 테스트는 두 번 쓰인 노드를 포함해 +와 *가 섞인 공식을 기울기 검사해요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.