シラバス レッスン 246 中 36 · モジュール 2:数学と確率、必要なぶんだけ
モジュール 2:数学と確率、必要なぶんだけ

softmax の勾配、そしてなぜ損失がそれを隠すのか

なぜ大切か softmax はアテンションの中にあり、そこではその勾配が単独で必要です。交差エントロピーと組み合わせるととても単純なものに縮み、その理由を知ることが、単純な版を信頼させてくれます。

完全な勾配

p = softmax(z) では、どの出力もすべての点数によります。zj を動かすと、i = j のとき pi は pi (1 - pi) 掛ける動きだけ、i が j でないとき - pi pj だけ動きます:ひとつの点数を上げると、ほかのすべてから確率を引き寄せます。ひとつの表(ヤコビアン)としては:diag(p) - p pT。

逆向きは決してその表を作りません。g = dL/dp が与えられると、z についての勾配は項目ごとに p * (g - (g · p)) です:それぞれの pi 掛ける、自分の g が確率で重み付けした g の平均にどれだけ勝るか。

小さな数

p = [0.5, 0.3, 0.2]、g = [1, 0, 0] とします。すると g · p = 0.5 で、dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]。項目は足すと 0 になります:すべての点数に同じ量を足しても何も変わりません。

なぜ交差エントロピーがそれを単純にするのか

L = -log py では、g は本当のクラスで -1 / py、ほかでは 0 です。それを p * (g - (g · p)) に入れると p - onehot(y) になります:モジュール 3 が使った式です。単純な形は近道ではなく、この同じ勾配なのです。

まとめ softmax の逆向き:p * (g - g · p)。上に交差エントロピーがあれば:p - onehot。

このレッスンの言葉と記号
softmax
それぞれの点数の exp を合計で割る:点数が確率になる
交差エントロピー
正しい答えに与えた確率の対数の符号を反転したもの
あなたの番

softmax_jacobian(z)(点数の 1 次元の配列が入り、(n, n) の表が出る)と、2 次元の配列(例ごとに 1 行)について、表を作らずに行ごとに p * (g - (g · p)) を使う softmax_backward(z, g) を書いてください。隠れたテストは、両方を少しずつ動かすことと照らし合わせ、交差エントロピーの g で答えが p - onehot になることを確かめます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。