シラバス レッスン 246 中 61 · モジュール 4:自分の自動微分のエンジン
モジュール 4:自分の自動微分のエンジン

自分の重みを持つ層

なぜ大切か 本物のネットワークには多くの層があります。それぞれの層は自分の重みを持ち、それを並べられるべきで、そうすれば訓練のコードは中に何があるかを知る必要がありません。

Linear の層は W と b を Tensor として持ち、x @ W + b を計算します。MLP は、間に ReLU を持つ Linear の層のリストを持ちます。どちらも、その重みの Tensor のリストである parameters() を提供します。

なぜ勾配をゼロにするのか

あなたの backward は、それぞれの grad に 足し ます。1 回のたどりの中ではそれで正しいのですが、ステップの間では古い勾配がまだそこにあります。消し忘れると、どのステップも過去のすべての勾配の和を使います:訓練はずれていき、それから爆発します。なのでどのステップも:grad をゼロにし、前向き、逆向き、進む。

パラメーター:訓練が変える重みです。zero_grad:次の backward の前に、すべてのパラメーターの grad をゼロにリセットすることです。

重みを散らばり sqrt(2 / inputs) で始めると、ReLU の層を通して信号が妥当な大きさに保たれます。モジュール 6 がその理由を説明します。

このレッスンの言葉と記号
Tensor
ここでは:配列と、その勾配と、それがもとにした Tensor
unbroadcast
勾配を、それが伸ばされる前の形まで合計して戻すこと
zero_grad
backward は勾配に足すので、次のステップの前に勾配をリセットすること
あなたの番

説明どおりに Linear、MLP、zero_grad(params)、sgd_step(params, lr) を書いてください。MLP([64, 32, 10], rng) は、間に ReLU があり、最後のあとにはない、2 つの Linear の層を作ります。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。