课程大纲 第 26 课,共 246 课 · 第 2 模块:数学和概率,只学需要的
第 2 模块:数学和概率,只学需要的

通过微调求斜率(导数)

为什么重要 训练一遍又一遍地问同一个问题:如果我微调这个权重,损失会怎样?这个问题有一个名字:导数。

看见它

取 f(x) = x * x,在 x = 3 处 f 是 9。把 x 微调到 3.001:f 变成 9.006001。输入移动了 0.001,输出移动了 0.006001,大约是 6 倍。所以在 3 处的斜率大约是 6。

x 的平方的精确斜率是 2 乘 x,在 x = 3 时是 6。微调几乎完全算对了。往两个方向都微调再取平均,(f(x + h) - f(x - h)) / (2h),还要更准确。

导数:在某一点上,输入每变化一个单位,输出变化得有多快。也就是曲线在那里的斜率。

你会用到的斜率

你总是可以用微调,但下面这些精确的斜率在这门课里会一次又一次地出现。每一个都很容易用你的 slope 函数检查。

函数斜率
x 的 n 次方n 乘 x 的 n - 1 次方(所以 x 的平方的斜率是 2x)
exp(x)exp(x):它就是自己的斜率
log(x)1 / x
sigmoid(x) = 1 / (1 + exp(-x))sigmoid(x) 乘以 (1 - sigmoid(x))
tanh(x)1 - tanh(x) 的平方
a 乘 b,两者都依赖于 x(a 的斜率)乘 b + a 乘(b 的斜率):乘积法则
f(g(x)),一个套在另一个里面f 在 g(x) 处的斜率,乘以 g 的斜率:链式法则,下一课会讲

回顾 微调,测量,相除。导数就是这么回事。

本课中的词语和符号
导数(df/dx)
输入每微调一个单位,输出变化得有多快
链式法则
一连串步骤的斜率,等于每一步自身斜率的乘积
轮到你了

用双向微调编写 slope(f, x, h=1e-5)。它必须对任何单个数字的函数都有效。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。