자기 가중치를 지닌 층
왜 중요한가 진짜 신경망에는 층이 많아요. 각 층은 자기 가중치를 소유하고 나열할 수 있어야, 훈련 코드가 그 안에 무엇이 있는지 알 필요가 없어요.
Linear 층은 W와 b를 Tensor로 지니고 x @ W + b를 계산해요. MLP는 사이에 ReLU가 있는 Linear 층의 리스트를 지녀요. 둘 다 가중치 Tensor의 리스트인 parameters()를 제공해요.
왜 기울기를 0으로 만드나
역방향은 각 grad에 더해요. 한 번의 실행 안에서는 맞지만, 단계 사이에 옛 기울기가 여전히 남아 있어요. 지우는 걸 잊으면 모든 단계가 과거 기울기 전부의 합을 써요: 훈련이 표류하다가 폭발해요. 그래서 각 단계는: 기울기를 0으로, 순방향, 역방향, 걸음.
매개변수: 훈련이 바꾸는 가중치. zero_grad: 다음 역방향 전에 모든 매개변수의 grad를 0으로 다시 맞추기.
가중치는 퍼짐 sqrt(2 / inputs)로 시작하세요, 그러면 ReLU 층들을 지나는 신호가 적당한 크기로 유지돼요. 모듈 6이 이유를 설명해요.
이 레슨의 단어와 기호
- Tensor
- 여기서는: 배열 더하기 그 기울기 더하기 그것이 나온 Tensor들
- unbroadcast
- 기울기를 늘어나기 전의 모양으로 다시 합해 줄이기
- zero_grad
- 역방향이 기울기에 더하기 때문에, 다음 단계 전에 기울기를 다시 0으로 맞추기
설명대로 Linear, MLP, zero_grad(params), sgd_step(params, lr)을 쓰세요. MLP([64, 32, 10], rng)은 사이에 ReLU가 하나 있고 마지막 뒤에는 없는 Linear 층 둘을 만들어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.