모듈 4: 자기만의 autograd 엔진
도입: 숫자 판독기를 훈련하는 열 줄
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 모듈 3에서는 모든 기울기를 손으로 썼어요. 진짜 신경망에는 층 종류가 수십 가지 있고, 아무도 매번 그걸 손으로 유도하지 않아요. autograd 엔진이 대신 해 주고, 이 모듈이 끝날 때쯤 하나를 직접 썼을 거예요.
첫 줄들은 이제 만들려는 완성된 엔진을 불러와요(보이지 않게 두어서, 다음 레슨들은 여러분이 풀 몫으로 남아요). 데이터 뒤의 열 줄을 보세요: 신경망을 만들고, 숫자로 훈련하는데, 어디에도 기울기 공식이 나오지 않아요. loss.backward()가 그걸 전부 구해요.
먼저 곡선 맞히기: 에포크 1 뒤와 에포크 10 뒤의 평균 훈련 손실을 추측하세요.
Autograd: 자동 미분. 순방향 계산만 쓰면, 엔진이 그걸 기록하고 연쇄 법칙을 거꾸로 돌려 모든 기울기를 계산해요.
이 레슨의 단어와 기호
- autograd
- 자동 기울기: 순방향 단계를 쓰면 엔진이 역방향을 해요
- Tensor
- 여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
- zero_grad
- 역방향이 기울기에 더하기 때문에, 다음 단계 전에 기울기를 다시 0으로 맞추기
내 차례
my_guess를 채우고 실행하세요. 훈련 열 줄을 읽고 무엇이 빠졌는지 알아채세요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.