Müfredat 246 dersinden 37. · Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar
Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar

İki tahmin ne kadar farklı (KL ıraksaması)

Neden önemli İleride bir dağılımı diğerine doğru iteceksin: bir üreticiyi gerçek veriye doğru, küçük bir modeli büyük olana doğru. KL ıraksaması aradaki boşluğu ölçer.

Küçük sayılar

Gerçek P = [0.5, 0.5], bir tahmin Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Yerlerini değiştir: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Farklı sayılar: KL simetrik değildir, yani sıra önemlidir.

KL ıraksaması: gerçek P iken Q kullanarak ortalamada yaşadığın fazladan şaşkınlık. Yalnızca ikisi aynı olduğunda 0'dır, ve asla negatif değildir.

İki çan eğrisi için Modül 15'in üretken modelleri için kullandığı tam bir formül var: N(m1, s1) ile N(m2, s2) arasındaki KL, log(s2/s1) + (s1 kare + (m1 - m2) kare) / (2 s2 kare) - 1/2'dir.

Özet Bir boşluk ölçüsü, eşitken sıfır, ve sıra önemli.

Bu dersteki kelimeler ve semboller
KL(P || Q)
iki dağılımın ne kadar farklı olduğu; yalnızca eşleştiklerinde sıfır; sıra önemli
Senin sıran

Liste ya da dizi olarak verilen iki olasılık için kl(p, q) yaz (testler düz listeler veriyor, bu yüzden önce onları diziye çevir), ve yukarıdaki formülü kullanan kl_gauss(m1, s1, m2, s2) yaz.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.