Hoe verskil twee raaisels (KL-divergensie)
Waarom dit saak maak Later sal jy een verdeling na 'n anderstans skuif: 'n generator na werklike data, 'n klein model na 'n groot een. KL divergence meet die gaping.
Klein getalle
Waarheid P = [0.5, 0.5], 'n raaiing Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Wissel hulle om: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Verskillende getalle: KL is nie simmetries nie, so die volgorde maak saak.
KL divergentie: die ekstra verrassing wat jy gemiddeld lyd wanneer jy Q gebruik terwyl die waarheid P is. Dit is 0 net wanneer hulle identies is, en nooit negatief nie.
Vir twee klokkurwes is daar 'n presiese formule, wat Module 15 vir sy generatiewe modelle gebruik: KL tussen N(m1, s1) en N(m2, s2) is log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2.
Opsomming 'n gaping meting, nul as gelyk, en volgorde maak saak.
Woorde en simbole in hierdie les
- KL(P || Q)
- hoe verskil twee distribusies; nul slegs wanneer hulle ooreenstem; volgorde saaklik
Skryf kl(p, q) vir twee waarskynlikhede wat as lysies of arrays gegee word (die toetse gebruik gewone lysies, so verander hulle eers na arrays), en kl_gauss(m1, s1, m2, s2) deur die formule hierbo te gebruik.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.