강의 계획 레슨 246개 중 61번째 · 모듈 4: 자기만의 autograd 엔진
모듈 4: 자기만의 autograd 엔진

자기 가중치를 지닌 층

왜 중요한가 진짜 신경망에는 층이 많아요. 각 층은 자기 가중치를 소유하고 나열할 수 있어야, 훈련 코드가 그 안에 무엇이 있는지 알 필요가 없어요.

Linear 층은 W와 b를 Tensor로 지니고 x @ W + b를 계산해요. MLP는 사이에 ReLU가 있는 Linear 층의 리스트를 지녀요. 둘 다 가중치 Tensor의 리스트인 parameters()를 제공해요.

왜 기울기를 0으로 만드나

역방향은 각 grad에 더해요. 한 번의 실행 안에서는 맞지만, 단계 사이에 옛 기울기가 여전히 남아 있어요. 지우는 걸 잊으면 모든 단계가 과거 기울기 전부의 합을 써요: 훈련이 표류하다가 폭발해요. 그래서 각 단계는: 기울기를 0으로, 순방향, 역방향, 걸음.

매개변수: 훈련이 바꾸는 가중치. zero_grad: 다음 역방향 전에 모든 매개변수의 grad를 0으로 다시 맞추기.

가중치는 퍼짐 sqrt(2 / inputs)로 시작하세요, 그러면 ReLU 층들을 지나는 신호가 적당한 크기로 유지돼요. 모듈 6이 이유를 설명해요.

이 레슨의 단어와 기호
Tensor
여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
unbroadcast
기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
zero_grad
역방향이 기울기에 더하기 때문에, 다음 단계 전에 기울기를 다시 0으로 맞추기
내 차례

설명대로 Linear, MLP, zero_grad(params), sgd_step(params, lr)을 쓰세요. MLP([64, 32, 10], rng)은 사이에 ReLU가 하나 있고 마지막 뒤에는 없는 Linear 층 둘을 만들어요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.