第 2 模块:数学和概率,只学需要的
通过微调求斜率(导数)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 训练一遍又一遍地问同一个问题:如果我微调这个权重,损失会怎样?这个问题有一个名字:导数。
看见它
取 f(x) = x * x,在 x = 3 处 f 是 9。把 x 微调到 3.001:f 变成 9.006001。输入移动了 0.001,输出移动了 0.006001,大约是 6 倍。所以在 3 处的斜率大约是 6。
x 的平方的精确斜率是 2 乘 x,在 x = 3 时是 6。微调几乎完全算对了。往两个方向都微调再取平均,(f(x + h) - f(x - h)) / (2h),还要更准确。
导数:在某一点上,输入每变化一个单位,输出变化得有多快。也就是曲线在那里的斜率。
你会用到的斜率
你总是可以用微调,但下面这些精确的斜率在这门课里会一次又一次地出现。每一个都很容易用你的 slope 函数检查。
| 函数 | 斜率 |
|---|---|
| x 的 n 次方 | n 乘 x 的 n - 1 次方(所以 x 的平方的斜率是 2x) |
| exp(x) | exp(x):它就是自己的斜率 |
| log(x) | 1 / x |
| sigmoid(x) = 1 / (1 + exp(-x)) | sigmoid(x) 乘以 (1 - sigmoid(x)) |
| tanh(x) | 1 - tanh(x) 的平方 |
| a 乘 b,两者都依赖于 x | (a 的斜率)乘 b + a 乘(b 的斜率):乘积法则 |
| f(g(x)),一个套在另一个里面 | f 在 g(x) 处的斜率,乘以 g 的斜率:链式法则,下一课会讲 |
回顾 微调,测量,相除。导数就是这么回事。
本课中的词语和符号
- 导数(df/dx)
- 输入每微调一个单位,输出变化得有多快
- 链式法则
- 一连串步骤的斜率,等于每一步自身斜率的乘积
轮到你了
用双向微调编写 slope(f, x, h=1e-5)。它必须对任何单个数字的函数都有效。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。