シラバス レッスン 246 中 55 · モジュール 4:自分の自動微分のエンジン
モジュール 4:自分の自動微分のエンジン

足し算と掛け算の逆向き

なぜ大切か この 2 つの規則と順番があれば、エンジンはすでに、和と積でできたどんな式も微分できます。

どの操作も、作る Tensor に小さな関数 _backward を付けます。呼ばれると out.grad を読み、それぞれの親の grad に自分の取り分を足します:

  • out = a + b では:a は out.grad を、b は out.grad を得る。
  • out = a * b では:a は out.grad * b.data を、b は out.grad * a.data を得る。

親の grad にはいつも 足して ください(+= の形)。決して上書きしないこと:2 回使われるノードは両方の寄与を集めなければなりません。それから backward() は最後のノードの grad を 1 にし、逆のトポロジカル順序ですべての _backward を呼びます。

(一番上で import している用意された unbroadcast の補助は、ブロードキャストで伸ばされた形を扱います。2 つ先のレッスンで自分の版を書きます。今は、それぞれの寄与をそれで包んでください。)

このレッスンの言葉と記号
Tensor
ここでは:配列と、その勾配と、それがもとにした Tensor
トポロジカル順序
どのノードも、それが頼るノードのあとに並べたもの
.grad
この Tensor についての、最終的な損失の勾配
unbroadcast
勾配を、それが伸ばされる前の形まで合計して戻すこと
あなたの番

2 つの _backward 関数と backward のメソッドを埋めてください。隠れたテストは、2 回使われるノードも含め、+ と * を混ぜた式の勾配を確かめます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。