两个猜测有多不同(KL 散度)
为什么重要 以后你会把一个分布推向另一个分布:把一个生成器推向真实数据,把一个小模型推向一个大模型。KL 散度衡量的就是这个差距。
很小的数字
真实分布 P = [0.5, 0.5],一个猜测 Q = [0.9, 0.1]。KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511。把它们交换:KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368。数字不同:KL 不是对称的,所以顺序很重要。
KL 散度:当真实分布是 P 时,用 Q 平均会让你多承受多少意外。只有两者完全相同时它才为 0,而且它永远不为负。
对于两条钟形曲线,有一个精确的公式,第 15 模块会把它用在生成模型上:N(m1, s1) 和 N(m2, s2) 之间的 KL 是 log(s2/s1) + (s1 的平方 + (m1 - m2) 的平方) / (2 乘 s2 的平方) - 1/2。
回顾 一种差距的度量,相等时为零,而且顺序很重要。
本课中的词语和符号
- KL(P || Q)
- 两个分布有多不同;只有完全一致时才为零;顺序很重要
为以列表或数组形式给出的两个概率分布编写 kl(p, q)(测试传入的是普通列表,所以先把它们转成数组),以及用上面公式的 kl_gauss(m1, s1, m2, s2)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。