강의 계획 레슨 246개 중 51번째 · 모듈 4: 자기만의 autograd 엔진
모듈 4: 자기만의 autograd 엔진

도입: 숫자 판독기를 훈련하는 열 줄

왜 중요한가 모듈 3에서는 모든 기울기를 손으로 썼어요. 진짜 신경망에는 층 종류가 수십 가지 있고, 아무도 매번 그걸 손으로 유도하지 않아요. autograd 엔진이 대신 해 주고, 이 모듈이 끝날 때쯤 하나를 직접 썼을 거예요.

첫 줄들은 이제 만들려는 완성된 엔진을 불러와요(보이지 않게 두어서, 다음 레슨들은 여러분이 풀 몫으로 남아요). 데이터 뒤의 열 줄을 보세요: 신경망을 만들고, 숫자로 훈련하는데, 어디에도 기울기 공식이 나오지 않아요. loss.backward()가 그걸 전부 구해요.

먼저 곡선 맞히기: 에포크 1 뒤와 에포크 10 뒤의 평균 훈련 손실을 추측하세요.

Autograd: 자동 미분. 순방향 계산만 쓰면, 엔진이 그걸 기록하고 연쇄 법칙을 거꾸로 돌려 모든 기울기를 계산해요.

이 레슨의 단어와 기호
autograd
자동 기울기: 순방향 단계를 쓰면 엔진이 역방향을 해요
Tensor
여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
zero_grad
역방향이 기울기에 더하기 때문에, 다음 단계 전에 기울기를 다시 0으로 맞추기
내 차례

my_guess를 채우고 실행하세요. 훈련 열 줄을 읽고 무엇이 빠졌는지 알아채세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.