シラバス レッスン 246 中 35 · モジュール 2:数学と確率、必要なぶんだけ
モジュール 2:数学と確率、必要なぶんだけ

交差エントロピーは変装した尤度

なぜ大切か 分類器は交差エントロピーという損失で訓練されます。新しいものに聞こえますが、2 つ前のレッスンの尤度の考えです。

小さな数

あるモデルが、数字 0、1、2 の確率は [0.665, 0.245, 0.090] だと言います。本当の数字は 0 です。モデルは真実をどれだけありそうだと思っていたか? 0.665。最尤のもとではその数を大きくしたく、損失としては小さなものが欲しいので、その対数の符号を反転します:-log(0.665) = 0.408。

本当の数字が 2 なら、損失は -log(0.090) = 2.41 になるでしょう:モデルは真実に 9% しか与えなかったので、厳しく罰せられます。完璧な予測(確率 1)の損失は 0 です。

交差エントロピー損失:モデルが本当の答えに与えた確率の対数の符号を反転したものを、例の上で平均したものです。まさに負の対数尤度です。

行ごとにひとつの項目を選ぶ

バッチでは、それぞれの行について、その行の本当の列の確率が要ります。NumPy は同じ長さの 2 つの添字の配列でこれをします:probs[rows, cols] は probs[rows[0], cols[0]]、probs[rows[1], cols[1]]、という具合に選びます。probs = [[0.7, 0.3], [0.2, 0.8]] とラベル [0, 1] では、probs[np.arange(2), labels] は [0.7, 0.8] を返します:行 0 の列 0、それから行 1 の列 1。これはファンシーインデックスと呼ばれます。

役に立つ目印:10 のクラスで一様に推測するモデルはそれぞれに 0.1 を与えるので、損失は -log(0.1) = 2.30 です。新しい分類器はその近くから始まります。

まとめ 損失 = -log(真実に与えた確率)。

このレッスンの言葉と記号
尤度
モデルのひとつの設定のもとで、見たデータがどれだけありそうか
交差エントロピー
正しい答えに与えた確率の対数の符号を反転したもの
あなたの番

cross_entropy(probs, labels) を書いてください:probs は確率の (batch, classes) で、labels はそれぞれの行の本当のクラスを持ちます。-log(本当のクラスの確率) の平均を返します。ループなしです。それから uniform_10_loss に、10 のクラスでの一様な推測の損失を設定してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。