Programma Les 37 van 246 · Module 2: Wiskunde en kansberekening, alleen indien nodig
Module 2: Wiskunde en kansberekening, alleen indien nodig

Hoe verschillend zijn twee gokken (KL divergentie)

Waarom dit ertoe doet Later zul je een distributie naar een andere duwen: een generator naar echte data, een klein model naar een groot model. KL divergentie meet de kloof.

Tintalletjes

Waarheid P = [0.5, 0.5], een gok Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Wissel ze om: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Verschillende getallen: KL is niet symmetrisch, dus de volgorde doet ertoe.

KL divergentie: de extra verrassing die je gemiddeld lijdt door Q te gebruiken wanneer de waarheid P is. Het is 0 alleen wanneer ze identiek zijn, en nooit negatief.

Voor twee klokcurves is er een exacte formule, die Module 15 gebruikt voor zijn generatieve modellen: KL tussen N(m1, s1) en N(m2, s2) is log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2.

Samenvatting Een gat-meting, nul bij gelijkheid, en de volgorde is belangrijk.

Woorden en symbolen in deze les
KL(P || Q)
hoe verschillend twee verdelingen zijn; alleen nul wanneer ze overeenkomen; volgorde is belangrijk
Jij bent aan de beurt

Schrijf kl(p, q) voor twee kansen gegeven als lijsten of arrays (de tests accepteren alleen lijsten, dus zet ze eerst om naar arrays), en kl_gauss(m1, s1, m2, s2) met de formule hierboven.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.