形が伸びるときの逆向き(ブロードキャスト)
なぜ大切か これは世界で最もよくある自動微分のバグです。形 (32, 4) のバッチに足した形 (4,) のバイアスは 32 回使われるので、その勾配は 32 の寄与すべてを足し合わせなければなりません。
小さな数
X が (3, 2)、b が (2,) の out = X + b。届く勾配は (3, 2) です。b は 3 行すべてに写されたので、それぞれの写しが取り分を受け取りました:b の勾配は行の上の和で、形 (2,) です。(3, 2) の配列をそのまま返すと、形がもう一致しないか、もっと悪いことに、ブロードキャストがそれを隠して数が 3 倍間違います。
規則:ブロードキャストが向きを 加えた ところではそれを合計して消し、大きさ 1 の向きを 伸ばした ところではそれを合計するが大きさ 1 として残す。
まとめ 前向きに写されたものは、逆向きに合計されます。
このレッスンの言葉と記号
- 自動微分
- 自動的な勾配:前向きのたどりを書き、エンジンが逆向きをする
- Tensor
- ここでは:配列と、その勾配と、それがもとにした Tensor
- .grad
- この Tensor についての、最終的な損失の勾配
- unbroadcast
- 勾配を、それが伸ばされる前の形まで合計して戻すこと
unbroadcast(grad, shape) を書いてください:grad を shape まで合計して下げます。足し算と掛け算は、すでにそれを呼んでいます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。