第 2 模块:数学和概率,只学需要的
关卡:把数学写成代码(AI 关闭)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 这个模块中有三样东西会在之后的每一个模块里回来:一个能扛住大数字的 softmax、矩阵乘法的梯度,以及 KL 散度。已经掌握这些数学了?你可以在学其他课之前先挑战这个关卡:通过它会把这个模块标记为完成,并打开下一个模块。
AI 导师关闭。对于 softmax,使用平移技巧:从每一个得分中减去最大的得分,在纸面上什么都不会改变,却能让每一个 exp 至多为 1。真实的 logits 可能很大,而一个在大输入上返回 nan 的 softmax 会悄无声息地毁掉一次训练。
本课中的词语和符号
- 导数(df/dx)
- 输入每微调一个单位,输出变化得有多快
- softmax
- 每个得分的 exp 除以总和:得分变成概率
- 交叉熵
- 给正确答案的概率的对数的负数
- KL(P || Q)
- 两个分布有多不同;只有完全一致时才为零;顺序很重要
轮到你了
针对 logits 的 2D 数组(每个例子一行),编写:
logsumexp(z):沿着每一行求 exp 的和的对数,对巨大的值也安全。stable_softmax(z):沿着每一行做 softmax,对巨大的值也安全。nll(z, labels):直接从 logits 以logsumexp - z[true]的方式算出的平均交叉熵,永远不对 softmax 取对数。matmul_grads(X, W, G):对于 Y = X @ W 以及一个对 Y 的梯度为 G 的损失,返回(dX, dW),也就是对 X 和 W 的梯度,不构建任何雅可比矩阵。kl_normal(m1, s1, m2, s2):从钟形曲线 N(m1, s1) 到 N(m2, s2) 的 KL 散度,其中 s1 和 s2 是离散程度(标准差)。
检查每一次都会用新的随机形状和数字,并和微调以及一个数值积分进行比较。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
本课已完成。干得好。
代码 · 在你的浏览器里运行
输出
你的学习进度会被匿名统计。 更改
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。