モジュール 4:自分の自動微分のエンジン
softmax と交差エントロピーを一度に
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か exp、sum、割り算から softmax を作ることもできますが、結果は遅く、あふれることがあります。本物のライブラリはどれも、softmax と交差エントロピーを、モジュール 3 で導いた単純な勾配を持つひとつの操作に融合します。
融合した操作は、前向きを一度に(安全のため最大でずらして)計算し、逆向きの規則をひとつ持ちます:(softmax - onehot) / n、掛ける届く勾配。ネットワークには relu も要ります:入力が正だったところで勾配を通します。
まとめ 融合できるものは融合しましょう。組み合わせた勾配は、その部品より単純です。
このレッスンの言葉と記号
- Tensor
- ここでは:配列と、その勾配と、それがもとにした Tensor
- .grad
- この Tensor についての、最終的な損失の勾配
- unbroadcast
- 勾配を、それが伸ばされる前の形まで合計して戻すこと
あなたの番
relu と cross_entropy(labels)(ロジットの (batch, classes) の Tensor の上で、スカラーの Tensor を返す)を、その逆向きの規則付きで書いてください。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。