Temario Lección 37 de 246 · Módulo 2: Matemáticas y probabilidad, solo lo necesario
Módulo 2: Matemáticas y probabilidad, solo lo necesario

Cuánto se diferencian dos suposiciones (divergencia KL)

Por qué importa Más adelante empujarás una distribución hacia otra: un generador hacia datos reales, un modelo pequeño hacia uno grande. La divergencia KL mide la distancia.

Números diminutos

La verdad P = [0.5, 0.5], una suposición Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Cámbialas de sitio: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Números distintos: la KL no es simétrica, así que el orden importa.

Divergencia KL: la sorpresa extra que sufres, de media, por usar Q cuando la verdad es P. Vale 0 solo cuando son idénticas, y nunca es negativa.

Para dos campanas hay una fórmula exacta, que el Módulo 15 usa en sus modelos generativos: la KL entre N(m1, s1) y N(m2, s2) es log(s2/s1) + (s1 al cuadrado + (m1 - m2) al cuadrado) / (2 s2 al cuadrado) - 1/2.

Resumen Una medida de distancia, cero cuando son iguales, y el orden importa.

Palabras y símbolos de esta lección
KL(P || Q)
cuánto se diferencian dos distribuciones; cero solo cuando coinciden; el orden importa
Tu turno

Escribe kl(p, q) para dos probabilidades dadas como listas o arrays (las pruebas pasan listas normales, así que conviértelas primero en arrays), y kl_gauss(m1, s1, m2, s2) usando la fórmula de arriba.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.