自分の重みを持つ層
なぜ大切か 本物のネットワークには多くの層があります。それぞれの層は自分の重みを持ち、それを並べられるべきで、そうすれば訓練のコードは中に何があるかを知る必要がありません。
Linear の層は W と b を Tensor として持ち、x @ W + b を計算します。MLP は、間に ReLU を持つ Linear の層のリストを持ちます。どちらも、その重みの Tensor のリストである parameters() を提供します。
なぜ勾配をゼロにするのか
あなたの backward は、それぞれの grad に 足し ます。1 回のたどりの中ではそれで正しいのですが、ステップの間では古い勾配がまだそこにあります。消し忘れると、どのステップも過去のすべての勾配の和を使います:訓練はずれていき、それから爆発します。なのでどのステップも:grad をゼロにし、前向き、逆向き、進む。
パラメーター:訓練が変える重みです。zero_grad:次の backward の前に、すべてのパラメーターの grad をゼロにリセットすることです。
重みを散らばり sqrt(2 / inputs) で始めると、ReLU の層を通して信号が妥当な大きさに保たれます。モジュール 6 がその理由を説明します。
このレッスンの言葉と記号
- Tensor
- ここでは:配列と、その勾配と、それがもとにした Tensor
- unbroadcast
- 勾配を、それが伸ばされる前の形まで合計して戻すこと
- zero_grad
- backward は勾配に足すので、次のステップの前に勾配をリセットすること
説明どおりに Linear、MLP、zero_grad(params)、sgd_step(params, lr) を書いてください。MLP([64, 32, 10], rng) は、間に ReLU があり、最後のあとにはない、2 つの Linear の層を作ります。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。