课程大纲 第 38 课,共 246 课 · 第 2 模块:数学和概率,只学需要的
第 2 模块:数学和概率,只学需要的

关卡:把数学写成代码(AI 关闭)

为什么重要 这个模块中有三样东西会在之后的每一个模块里回来:一个能扛住大数字的 softmax、矩阵乘法的梯度,以及 KL 散度。已经掌握这些数学了?你可以在学其他课之前先挑战这个关卡:通过它会把这个模块标记为完成,并打开下一个模块。

AI 导师关闭。对于 softmax,使用平移技巧:从每一个得分中减去最大的得分,在纸面上什么都不会改变,却能让每一个 exp 至多为 1。真实的 logits 可能很大,而一个在大输入上返回 nan 的 softmax 会悄无声息地毁掉一次训练。

本课中的词语和符号
导数(df/dx)
输入每微调一个单位,输出变化得有多快
softmax
每个得分的 exp 除以总和:得分变成概率
交叉熵
给正确答案的概率的对数的负数
KL(P || Q)
两个分布有多不同;只有完全一致时才为零;顺序很重要
轮到你了

针对 logits 的 2D 数组(每个例子一行),编写:

  • logsumexp(z):沿着每一行求 exp 的和的对数,对巨大的值也安全。
  • stable_softmax(z):沿着每一行做 softmax,对巨大的值也安全。
  • nll(z, labels):直接从 logits 以 logsumexp - z[true] 的方式算出的平均交叉熵,永远不对 softmax 取对数。
  • matmul_grads(X, W, G):对于 Y = X @ W 以及一个对 Y 的梯度为 G 的损失,返回 (dX, dW),也就是对 X 和 W 的梯度,不构建任何雅可比矩阵。
  • kl_normal(m1, s1, m2, s2):从钟形曲线 N(m1, s1) 到 N(m2, s2) 的 KL 散度,其中 s1 和 s2 是离散程度(标准差)。

检查每一次都会用新的随机形状和数字,并和微调以及一个数值积分进行比较。

关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。

发现这节课有问题?报告它 · 就这节课提问

代码 · 在你的浏览器里运行
输出

        

你的学习进度会被匿名统计。 更改