Conteúdo do curso Lição 37 de 246 · Módulo 2: Matemática e probabilidade, apenas conforme necessário
Módulo 2: Matemática e probabilidade, apenas conforme necessário

Quão diferentes são duas suposições (divergência KL)

Por que isso importa Mais tarde você vai empurrar uma distribuição em direção a outra: um gerador em direção a dados reais, um modelo pequeno em direção a um grande. A divergência KL mede o abismo.

Números pequenos

Verdade P = [0.5, 0.5], um palpite Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Inverta eles: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Números diferentes: KL não é simétrico, então a ordem importa.

KL divergência: a surpresa extra que você sofre, em média, ao usar Q quando a verdade é P. É 0 apenas quando eles são idênticos, e nunca negativo.

Para duas curvas de sino existe uma fórmula exata, que o Module 15 usa para seus modelos generativos: KL entre N(m1, s1) e N(m2, s2) é log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2.

Resumo Uma medida de lacuna, zero quando igual, e a ordem importa.

Palavras e símbolos nesta lição
KL(P || Q)
quão diferentes duas distribuições são; zero apenas quando elas coincidem; a ordem importa
Sua vez

Escreva kl(p, q) para duas probabilidades dadas como listas ou arrays (os testes aceitam listas simples, então transforme-as em arrays primeiro), e kl_gauss(m1, s1, m2, s2) usando a fórmula acima.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.