シラバス レッスン 246 中 59 · モジュール 4:自分の自動微分のエンジン
モジュール 4:自分の自動微分のエンジン

softmax と交差エントロピーを一度に

なぜ大切か exp、sum、割り算から softmax を作ることもできますが、結果は遅く、あふれることがあります。本物のライブラリはどれも、softmax と交差エントロピーを、モジュール 3 で導いた単純な勾配を持つひとつの操作に融合します。

融合した操作は、前向きを一度に(安全のため最大でずらして)計算し、逆向きの規則をひとつ持ちます:(softmax - onehot) / n、掛ける届く勾配。ネットワークには relu も要ります:入力が正だったところで勾配を通します。

まとめ 融合できるものは融合しましょう。組み合わせた勾配は、その部品より単純です。

このレッスンの言葉と記号
Tensor
ここでは:配列と、その勾配と、それがもとにした Tensor
.grad
この Tensor についての、最終的な損失の勾配
unbroadcast
勾配を、それが伸ばされる前の形まで合計して戻すこと
あなたの番

relu と cross_entropy(labels)(ロジットの (batch, classes) の Tensor の上で、スカラーの Tensor を返す)を、その逆向きの規則付きで書いてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。