모듈 4: 자기만의 autograd 엔진
모양이 늘어날 때의 역방향(브로드캐스팅)
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 이게 세상에서 가장 흔한 autograd 버그예요. 모양 (32, 4)인 배치에 더한 모양 (4,)인 편향은 32번 쓰이니, 그 기울기는 32개 몫을 모두 더해야 해요.
작은 숫자
X가 (3, 2), b가 (2,)인 out = X + b. 도착하는 기울기는 (3, 2)예요. b는 3개 행 모두에 복사됐으니, 각 복사본이 몫을 받았어요: b의 기울기는 행들에 걸친 합, 모양 (2,)예요. (3, 2) 배열을 돌려주면 모양이 더는 맞지 않거나, 더 나쁘게는 브로드캐스팅이 그걸 숨겨서 숫자가 3배 틀려요.
규칙: 브로드캐스팅이 방향을 더한 곳에서는 합해서 없애고, 크기 1인 방향을 늘린 곳에서는 합하되 크기 1로 유지하세요.
요약 앞으로 복사됐으면 뒤로는 합해져요.
이 레슨의 단어와 기호
- autograd
- 자동 기울기: 순방향 단계를 쓰면 엔진이 역방향을 해요
- Tensor
- 여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
- .grad
- 이 Tensor에 대한 최종 손실의 기울기
- unbroadcast
- 기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
내 차례
unbroadcast(grad, shape)를 쓰세요: grad를 shape까지 합해 줄이세요. 덧셈과 곱셈은 이미 그걸 호출해요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.