シラバス レッスン 246 中 58 · モジュール 4:自分の自動微分のエンジン
モジュール 4:自分の自動微分のエンジン

和、平均、形の変更、転置

なぜ大切か 損失は和か平均で、層はいつも形を変え転置します。どれにも逆向きの規則が要り、どの規則も 1 行です。

  • sum(ひとつの数へ):どの項目も傾き 1 で寄与したので、それぞれが届く勾配を得る。勾配:入力の形の 1 掛ける out.grad。
  • mean:和掛ける 1/size。sum と掛け算から作れば、専用の規則は要らない。
  • reshape:値は並べ替えられるだけなので、勾配を入力の形へ形を戻す。
  • transpose:勾配を転置し戻す。

まとめ 数を動かすと、勾配も同じやり方で動かし戻されます。

このレッスンの言葉と記号
Tensor
ここでは:配列と、その勾配と、それがもとにした Tensor
.grad
この Tensor についての、最終的な損失の勾配
unbroadcast
勾配を、それが伸ばされる前の形まで合計して戻すこと
あなたの番

sum、mean、reshape、T のプロパティを、その逆向きの規則付きで書いてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。