Programma Lezione 37 di 246 · Modulo 2: Matematica e probabilità, solo quanto serve
Modulo 2: Matematica e probabilità, solo quanto serve

Quanto sono diverse due ipotesi (divergenza KL)

Perché è importante Più avanti spingerai una distribuzione verso un'altra: un generatore verso i dati veri, un modello piccolo verso uno grande. La divergenza KL misura la distanza.

Numeri piccolissimi

Verità P = [0.5, 0.5], un'ipotesi Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Scambiali: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Numeri diversi: KL non è simmetrica, quindi l'ordine conta.

Divergenza KL: la sorpresa in più che subisci, in media, usando Q quando la verità è P. È 0 solo quando sono identiche, e non è mai negativa.

Per due curve a campana c'è una formula esatta, che il Modulo 15 usa per i suoi modelli generativi: la KL tra N(m1, s1) e N(m2, s2) è log(s2/s1) + (s1 al quadrato + (m1 - m2) al quadrato) / (2 s2 al quadrato) - 1/2.

Riepilogo Una misura della distanza, zero quando sono uguali, e l'ordine conta.

Parole e simboli di questa lezione
KL(P || Q)
quanto sono diverse due distribuzioni; zero solo quando coincidono; l'ordine conta
Tocca a te

Scrivi kl(p, q) per due probabilità date come liste o array (i test passano semplici liste, quindi trasformale prima in array), e kl_gauss(m1, s1, m2, s2) usando la formula qui sopra.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.