İki tahmin ne kadar farklı (KL ıraksaması)
Neden önemli İleride bir dağılımı diğerine doğru iteceksin: bir üreticiyi gerçek veriye doğru, küçük bir modeli büyük olana doğru. KL ıraksaması aradaki boşluğu ölçer.
Küçük sayılar
Gerçek P = [0.5, 0.5], bir tahmin Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Yerlerini değiştir: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Farklı sayılar: KL simetrik değildir, yani sıra önemlidir.
KL ıraksaması: gerçek P iken Q kullanarak ortalamada yaşadığın fazladan şaşkınlık. Yalnızca ikisi aynı olduğunda 0'dır, ve asla negatif değildir.
İki çan eğrisi için Modül 15'in üretken modelleri için kullandığı tam bir formül var: N(m1, s1) ile N(m2, s2) arasındaki KL, log(s2/s1) + (s1 kare + (m1 - m2) kare) / (2 s2 kare) - 1/2'dir.
Özet Bir boşluk ölçüsü, eşitken sıfır, ve sıra önemli.
Bu dersteki kelimeler ve semboller
- KL(P || Q)
- iki dağılımın ne kadar farklı olduğu; yalnızca eşleştiklerinde sıfır; sıra önemli
Liste ya da dizi olarak verilen iki olasılık için kl(p, q) yaz (testler düz listeler veriyor, bu yüzden önce onları diziye çevir), ve yukarıdaki formülü kullanan kl_gauss(m1, s1, m2, s2) yaz.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.