シラバス レッスン 246 中 57 · モジュール 4:自分の自動微分のエンジン
モジュール 4:自分の自動微分のエンジン

形が伸びるときの逆向き(ブロードキャスト)

なぜ大切か これは世界で最もよくある自動微分のバグです。形 (32, 4) のバッチに足した形 (4,) のバイアスは 32 回使われるので、その勾配は 32 の寄与すべてを足し合わせなければなりません。

小さな数

X が (3, 2)、b が (2,) の out = X + b。届く勾配は (3, 2) です。b は 3 行すべてに写されたので、それぞれの写しが取り分を受け取りました:b の勾配は行の上の和で、形 (2,) です。(3, 2) の配列をそのまま返すと、形がもう一致しないか、もっと悪いことに、ブロードキャストがそれを隠して数が 3 倍間違います。

規則:ブロードキャストが向きを 加えた ところではそれを合計して消し、大きさ 1 の向きを 伸ばした ところではそれを合計するが大きさ 1 として残す。

まとめ 前向きに写されたものは、逆向きに合計されます。

このレッスンの言葉と記号
自動微分
自動的な勾配:前向きのたどりを書き、エンジンが逆向きをする
Tensor
ここでは:配列と、その勾配と、それがもとにした Tensor
.grad
この Tensor についての、最終的な損失の勾配
unbroadcast
勾配を、それが伸ばされる前の形まで合計して戻すこと
あなたの番

unbroadcast(grad, shape) を書いてください:grad を shape まで合計して下げます。足し算と掛け算は、すでにそれを呼んでいます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。