モジュール 4:自分の自動微分のエンジン
グラフを記録して並べる
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か 逆向きは、それぞれの箱を、それに頼るすべての箱のあとでだけ訪れなければなりません。この順番を間違えると、こっそり間違った勾配になります。
見てみる
x が 2 回使われるところを思い浮かべてください:a = x * 2、b = x * 3、L = a + b。これはひし形です。L から後ろへ進むとき、x を扱う前に a と b の両方を終えなければなりません。x の勾配は、両方を通って戻るものの和だからです。
対策は、ノードを トポロジカル順序 で並べることです:どのノードもそのすべての親のあとに。逆向きはそれからその一覧を逆にたどります。深さ優先探索が一覧を作ります:ノードの親を先に訪れ、それからノードを加え、すでに見たノードは飛ばします。
トポロジカル順序:どのノードも、それが頼るノードのあとに来る、グラフの並べ方です。
このレッスンの言葉と記号
- Tensor
- ここでは:配列と、その勾配と、それがもとにした Tensor
- トポロジカル順序
- どのノードも、それが頼るノードのあとに並べたもの
- .grad
- この Tensor についての、最終的な損失の勾配
- unbroadcast
- 勾配を、それが伸ばされる前の形まで合計して戻すこと
あなたの番
topo のメソッドを書いてください:self が頼るすべてのノード(自分自身も含む)を、それぞれそのすべての親のあとに、重複なしで返します。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。