Quanto sono diverse due ipotesi (divergenza KL)
Perché è importante Più avanti spingerai una distribuzione verso un'altra: un generatore verso i dati veri, un modello piccolo verso uno grande. La divergenza KL misura la distanza.
Numeri piccolissimi
Verità P = [0.5, 0.5], un'ipotesi Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Scambiali: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Numeri diversi: KL non è simmetrica, quindi l'ordine conta.
Divergenza KL: la sorpresa in più che subisci, in media, usando Q quando la verità è P. È 0 solo quando sono identiche, e non è mai negativa.
Per due curve a campana c'è una formula esatta, che il Modulo 15 usa per i suoi modelli generativi: la KL tra N(m1, s1) e N(m2, s2) è log(s2/s1) + (s1 al quadrato + (m1 - m2) al quadrato) / (2 s2 al quadrato) - 1/2.
Riepilogo Una misura della distanza, zero quando sono uguali, e l'ordine conta.
Parole e simboli di questa lezione
- KL(P || Q)
- quanto sono diverse due distribuzioni; zero solo quando coincidono; l'ordine conta
Scrivi kl(p, q) per due probabilità date come liste o array (i test passano semplici liste, quindi trasformale prima in array), e kl_gauss(m1, s1, m2, s2) usando la formula qui sopra.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.