Quão diferentes são duas suposições (divergência KL)
Por que isso importa Mais tarde você vai empurrar uma distribuição em direção a outra: um gerador em direção a dados reais, um modelo pequeno em direção a um grande. A divergência KL mede o abismo.
Números pequenos
Verdade P = [0.5, 0.5], um palpite Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Inverta eles: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Números diferentes: KL não é simétrico, então a ordem importa.
KL divergência: a surpresa extra que você sofre, em média, ao usar Q quando a verdade é P. É 0 apenas quando eles são idênticos, e nunca negativo.
Para duas curvas de sino existe uma fórmula exata, que o Module 15 usa para seus modelos generativos: KL entre N(m1, s1) e N(m2, s2) é log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2.
Resumo Uma medida de lacuna, zero quando igual, e a ordem importa.
Palavras e símbolos nesta lição
- KL(P || Q)
- quão diferentes duas distribuições são; zero apenas quando elas coincidem; a ordem importa
Escreva kl(p, q) para duas probabilidades dadas como listas ou arrays (os testes aceitam listas simples, então transforme-as em arrays primeiro), e kl_gauss(m1, s1, m2, s2) usando a fórmula acima.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.