Насколько различаются две догадки (дивергенция KL)
Почему это важно Позже вы будете подталкивать одно распределение к другому: генератор к настоящим данным, маленькую модель к большой. Дивергенция KL измеряет разрыв.
Маленькие числа
Правда P = [0.5, 0.5], догадка Q = [0.9, 0.1]. KL(P || Q) = 0,5 log(0,5/0,9) + 0,5 log(0,5/0,1) = -0,294 + 0,805 = 0,511. Поменяйте их местами: KL(Q || P) = 0,9 log(0,9/0,5) + 0,1 log(0,1/0,5) = 0,529 - 0,161 = 0,368. Разные числа: KL не симметрична, поэтому порядок важен.
Дивергенция KL: лишнее удивление, которое вы в среднем испытываете, используя Q, когда правда - P. Она равна 0, только когда они одинаковы, и никогда не отрицательна.
Для двух колоколообразных кривых есть точная формула, которую модуль 15 использует для своих генеративных моделей: KL между N(m1, s1) и N(m2, s2) - это log(s2/s1) + (s1 в квадрате + (m1 - m2) в квадрате) / (2 s2 в квадрате) - 1/2.
Итоги Мера разрыва, ноль при равенстве, и порядок важен.
Слова и символы этого урока
- KL(P || Q)
- насколько различаются два распределения; ноль, только когда совпадают; порядок важен
Напишите kl(p, q) для двух вероятностей, заданных списками или массивами (тесты передают простые списки, поэтому сначала превратите их в массивы), и kl_gauss(m1, s1, m2, s2) по формуле выше.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.