シラバス レッスン 246 中 54 · モジュール 4:自分の自動微分のエンジン
モジュール 4:自分の自動微分のエンジン

グラフを記録して並べる

なぜ大切か 逆向きは、それぞれの箱を、それに頼るすべての箱のあとでだけ訪れなければなりません。この順番を間違えると、こっそり間違った勾配になります。

見てみる

x が 2 回使われるところを思い浮かべてください:a = x * 2、b = x * 3、L = a + b。これはひし形です。L から後ろへ進むとき、x を扱う前に a と b の両方を終えなければなりません。x の勾配は、両方を通って戻るものの和だからです。

対策は、ノードを トポロジカル順序 で並べることです:どのノードもそのすべての親のあとに。逆向きはそれからその一覧を逆にたどります。深さ優先探索が一覧を作ります:ノードの親を先に訪れ、それからノードを加え、すでに見たノードは飛ばします。

トポロジカル順序:どのノードも、それが頼るノードのあとに来る、グラフの並べ方です。

このレッスンの言葉と記号
Tensor
ここでは:配列と、その勾配と、それがもとにした Tensor
トポロジカル順序
どのノードも、それが頼るノードのあとに並べたもの
.grad
この Tensor についての、最終的な損失の勾配
unbroadcast
勾配を、それが伸ばされる前の形まで合計して戻すこと
あなたの番

topo のメソッドを書いてください:self が頼るすべてのノード(自分自身も含む)を、それぞれそのすべての親のあとに、重複なしで返します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。