모듈 4: 자기만의 autograd 엔진
그래프를 기록하고 순서 매기기
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 역방향은 각 상자를, 그것에 의존하는 모든 상자 다음에만 방문해야 해요. 이 순서를 틀리면 조용히 틀린 기울기가 나와요.
보기
x가 두 번 쓰인다고 떠올려 보세요: a = x * 2, b = x * 3, L = a + b. 이건 마름모예요. L에서 거꾸로 가면, x를 다루기 전에 a와 b 둘 다를 끝내야 해요, x의 기울기는 둘 다를 통해 돌아오는 것의 합이니까요.
해결책은 노드를 위상 순서로 나열하는 거예요: 모든 노드가 자기 부모 전부 뒤에. 그러면 역방향은 그 목록을 거꾸로 걸어요. 깊이 우선 탐색이 목록을 만들어요: 노드의 부모를 먼저 방문하고, 그다음 노드를 더하고, 이미 본 노드는 건너뛰세요.
위상 순서: 모든 노드가 자기가 의존하는 노드들 뒤에 오는 그래프의 순서.
이 레슨의 단어와 기호
- Tensor
- 여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
- 위상 순서
- 모든 노드가 자기가 의존하는 노드들 뒤에 나열된 것
- .grad
- 이 Tensor에 대한 최종 손실의 기울기
- unbroadcast
- 기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
내 차례
topo 메서드를 쓰세요: self가 의존하는 모든 노드(자기 자신 포함)를, 각각 자기 부모 전부 뒤에, 중복 없이 반환하세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.