课程大纲 第 37 课,共 246 课 · 第 2 模块:数学和概率,只学需要的
第 2 模块:数学和概率,只学需要的

两个猜测有多不同(KL 散度)

为什么重要 以后你会把一个分布推向另一个分布:把一个生成器推向真实数据,把一个小模型推向一个大模型。KL 散度衡量的就是这个差距。

很小的数字

真实分布 P = [0.5, 0.5],一个猜测 Q = [0.9, 0.1]。KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511。把它们交换:KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368。数字不同:KL 不是对称的,所以顺序很重要。

KL 散度:当真实分布是 P 时,用 Q 平均会让你多承受多少意外。只有两者完全相同时它才为 0,而且它永远不为负。

对于两条钟形曲线,有一个精确的公式,第 15 模块会把它用在生成模型上:N(m1, s1) 和 N(m2, s2) 之间的 KL 是 log(s2/s1) + (s1 的平方 + (m1 - m2) 的平方) / (2 乘 s2 的平方) - 1/2。

回顾 一种差距的度量,相等时为零,而且顺序很重要。

本课中的词语和符号
KL(P || Q)
两个分布有多不同;只有完全一致时才为零;顺序很重要
轮到你了

为以列表或数组形式给出的两个概率分布编写 kl(p, q)(测试传入的是普通列表,所以先把它们转成数组),以及用上面公式的 kl_gauss(m1, s1, m2, s2)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。