2 つの推測はどれだけ違うか(KL ダイバージェンス)
なぜ大切か 後で、ある分布を別のものへ押していきます。生成器を本物のデータへ、小さなモデルを大きなものへ。KL ダイバージェンスがその隔たりを測ります。
小さな数
真実 P = [0.5, 0.5]、推測 Q = [0.9, 0.1]。KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511。入れ替えると:KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368。違う数:KL は対称ではないので、順番が大事です。
KL ダイバージェンス:真実が P のときに Q を使うことで、平均して受ける余分な驚きです。同一のときだけ 0 で、決して負になりません。
2 つの釣鐘の曲線には正確な式があり、モジュール 15 はそれを生成モデルに使います:N(m1, s1) と N(m2, s2) の間の KL は log(s2/s1) + (s1 の 2 乗 + (m1 - m2) の 2 乗) / (2 s2 の 2 乗) - 1/2 です。
まとめ 隔たりの測り方で、等しいときゼロ、順番が大事。
このレッスンの言葉と記号
- KL(P || Q)
- 2 つの分布がどれだけ違うか。一致するときだけゼロ。順番が大事
リストか配列として与えた 2 つの確率についての kl(p, q)(テストは素のリストを渡すので、まず配列にしてください)と、上の式を使う kl_gauss(m1, s1, m2, s2) を書いてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。