足し算と掛け算の逆向き
なぜ大切か この 2 つの規則と順番があれば、エンジンはすでに、和と積でできたどんな式も微分できます。
どの操作も、作る Tensor に小さな関数 _backward を付けます。呼ばれると out.grad を読み、それぞれの親の grad に自分の取り分を足します:
out = a + bでは:a はout.gradを、b はout.gradを得る。out = a * bでは:a はout.grad * b.dataを、b はout.grad * a.dataを得る。
親の grad にはいつも 足して ください(+= の形)。決して上書きしないこと:2 回使われるノードは両方の寄与を集めなければなりません。それから backward() は最後のノードの grad を 1 にし、逆のトポロジカル順序ですべての _backward を呼びます。
(一番上で import している用意された unbroadcast の補助は、ブロードキャストで伸ばされた形を扱います。2 つ先のレッスンで自分の版を書きます。今は、それぞれの寄与をそれで包んでください。)
このレッスンの言葉と記号
- Tensor
- ここでは:配列と、その勾配と、それがもとにした Tensor
- トポロジカル順序
- どのノードも、それが頼るノードのあとに並べたもの
- .grad
- この Tensor についての、最終的な損失の勾配
- unbroadcast
- 勾配を、それが伸ばされる前の形まで合計して戻すこと
2 つの _backward 関数と backward のメソッドを埋めてください。隠れたテストは、2 回使われるノードも含め、+ と * を混ぜた式の勾配を確かめます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。