シラバス レッスン 246 中 34 · モジュール 2:数学と確率、必要なぶんだけ
モジュール 2:数学と確率、必要なぶんだけ

点数を確率に(softmax)

なぜ大切か 数字の分類器は、数字ごとにひとつ、10 の生の点数で終わります。それを「それぞれの数字がどれだけありそうか」と読むには、正で、足すと 1 にならなければなりません。

小さな数

点数 [2, 1, 0]。exp で正にします:約 [7.39, 2.72, 1.00]。合計 11.11 で割ります:[0.665, 0.245, 0.090]。足すと 1 になり、同じ順番を保ち、高い点数はいつも高い確率を意味します。

softmax:それぞれの点数の exp を、すべての exp の和で割ったものです。ロジット:入っていく生の点数です。

ひとつの罠:すべての点数に同じ数を足しても何も変わりません(割り算で打ち消し合います)。[1002, 1001, 1000] を試してください:紙の上では [2, 1, 0] と同じ答えですが、コンピューターでは exp(1002) があふれます。それは関門で直します。

まとめ exp、それから合計で割る。

このレッスンの言葉と記号
softmax
それぞれの点数の exp を合計で割る:点数が確率になる
あなたの番

1 次元の配列について softmax(z) を書き(ここでは素の版で構いません)、shift_invariant を設定してください:すべての点数に同じ数を足しても出力が同じなら True、変わるなら False。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。