シラバス レッスン 246 中 37 · モジュール 2:数学と確率、必要なぶんだけ
モジュール 2:数学と確率、必要なぶんだけ

2 つの推測はどれだけ違うか(KL ダイバージェンス)

なぜ大切か 後で、ある分布を別のものへ押していきます。生成器を本物のデータへ、小さなモデルを大きなものへ。KL ダイバージェンスがその隔たりを測ります。

小さな数

真実 P = [0.5, 0.5]、推測 Q = [0.9, 0.1]。KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511。入れ替えると:KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368。違う数:KL は対称ではないので、順番が大事です。

KL ダイバージェンス:真実が P のときに Q を使うことで、平均して受ける余分な驚きです。同一のときだけ 0 で、決して負になりません。

2 つの釣鐘の曲線には正確な式があり、モジュール 15 はそれを生成モデルに使います:N(m1, s1) と N(m2, s2) の間の KL は log(s2/s1) + (s1 の 2 乗 + (m1 - m2) の 2 乗) / (2 s2 の 2 乗) - 1/2 です。

まとめ 隔たりの測り方で、等しいときゼロ、順番が大事。

このレッスンの言葉と記号
KL(P || Q)
2 つの分布がどれだけ違うか。一致するときだけゼロ。順番が大事
あなたの番

リストか配列として与えた 2 つの確率についての kl(p, q)(テストは素のリストを渡すので、まず配列にしてください)と、上の式を使う kl_gauss(m1, s1, m2, s2) を書いてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。