Kurrikulum Leson 37 van 246 · Module 2: Wiskunde en waarskynlikheid, net soos nodig
Module 2: Wiskunde en waarskynlikheid, net soos nodig

Hoe verskil twee raaisels (KL-divergensie)

Waarom dit saak maak Later sal jy een verdeling na 'n anderstans skuif: 'n generator na werklike data, 'n klein model na 'n groot een. KL divergence meet die gaping.

Klein getalle

Waarheid P = [0.5, 0.5], 'n raaiing Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Wissel hulle om: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Verskillende getalle: KL is nie simmetries nie, so die volgorde maak saak.

KL divergentie: die ekstra verrassing wat jy gemiddeld lyd wanneer jy Q gebruik terwyl die waarheid P is. Dit is 0 net wanneer hulle identies is, en nooit negatief nie.

Vir twee klokkurwes is daar 'n presiese formule, wat Module 15 vir sy generatiewe modelle gebruik: KL tussen N(m1, s1) en N(m2, s2) is log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2.

Opsomming 'n gaping meting, nul as gelyk, en volgorde maak saak.

Woorde en simbole in hierdie les
KL(P || Q)
hoe verskil twee distribusies; nul slegs wanneer hulle ooreenstem; volgorde saaklik
Jou beurt

Skryf kl(p, q) vir twee waarskynlikhede wat as lysies of arrays gegee word (die toetse gebruik gewone lysies, so verander hulle eers na arrays), en kl_gauss(m1, s1, m2, s2) deur die formule hierbo te gebruik.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.