シラバス レッスン 246 中 47 · モジュール 3:ニューロンから MLP へ
モジュール 3:ニューロンから MLP へ

softmax と交差エントロピーを一緒に

なぜ大切か このコースのどの分類器も、softmax 足す交差エントロピーで終わります。その組み合わせた勾配は深層学習で最も役に立つ結果のひとつで、短いものです。

小さな数

ロジット [2, 1, 0]、softmax [0.665, 0.245, 0.090]、本当のクラス 0(ワンホット [1, 0, 0])。ロジットについての損失の勾配は、ただ softmax 引くワンホットです:[-0.335, 0.245, 0.090]。言葉で言えば:本当のクラスの点数を足りなかったぶんだけ押し上げ、ほかのどの点数も誤って取った確率のぶんだけ押し下げる。

ワンホット:本当のクラスにひとつだけ 1 があるゼロのベクトルです。

バッチでは、行の上で平均します:(softmax(Z) - onehot) / n。

まとめ 勾配 = 予測引く真の値、またしても。

このレッスンの言葉と記号
ワンホット
本当のクラスにひとつだけ 1 があるゼロの並び
勾配の確認
勾配の式を、少し動かして測る見積もりと比べること
あなたの番

平均の交差エントロピーと、Z(形 (batch, classes))についてのその勾配を返す loss_and_grad(Z, labels) を書いてください。安定した softmax を使ってください。出す前に、勾配の確認の道具で自分で確かめてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。