Cuánto se diferencian dos suposiciones (divergencia KL)
Por qué importa Más adelante empujarás una distribución hacia otra: un generador hacia datos reales, un modelo pequeño hacia uno grande. La divergencia KL mide la distancia.
Números diminutos
La verdad P = [0.5, 0.5], una suposición Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Cámbialas de sitio: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Números distintos: la KL no es simétrica, así que el orden importa.
Divergencia KL: la sorpresa extra que sufres, de media, por usar Q cuando la verdad es P. Vale 0 solo cuando son idénticas, y nunca es negativa.
Para dos campanas hay una fórmula exacta, que el Módulo 15 usa en sus modelos generativos: la KL entre N(m1, s1) y N(m2, s2) es log(s2/s1) + (s1 al cuadrado + (m1 - m2) al cuadrado) / (2 s2 al cuadrado) - 1/2.
Resumen Una medida de distancia, cero cuando son iguales, y el orden importa.
Palabras y símbolos de esta lección
- KL(P || Q)
- cuánto se diferencian dos distribuciones; cero solo cuando coinciden; el orden importa
Escribe kl(p, q) para dos probabilidades dadas como listas o arrays (las pruebas pasan listas normales, así que conviértelas primero en arrays), y kl_gauss(m1, s1, m2, s2) usando la fórmula de arriba.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.