课程大纲 第 27 课,共 246 课 · 第 2 模块:数学和概率,只学需要的
第 2 模块:数学和概率,只学需要的

把微调一路传下去(链式法则)

为什么重要 一个网络就是函数套着函数。链式法则说明了开头的一次微调是怎么传到末尾的。反向传播不过如此。

看见它

三个步骤:把 x 翻倍,然后加 1,然后取平方。从 x = 2 开始:翻倍得到 4,加 1 得到 5,平方得到 25。

现在把 x 微调一个很小的量。翻倍让微调变大 2 倍。加 1 让它保持同样大小(乘 1)。在 5 处取平方会把它乘以 2 乘 5 = 10。所以末尾移动的是微调的 2 乘 1 乘 10 = 20 倍。

链式法则:一连串步骤的斜率,等于每一步自身斜率的乘积,每一个都在那一步所在的位置测量。

用微调来检查:x = 2.001 得到 2 * 2.001 + 1 = 5.002,平方后是 25.020004。微调 0.001,末尾移动了 0.020004:20 倍。它是对的。

回顾 沿着链把各个局部斜率乘起来。

本课中的词语和符号
链式法则
一连串步骤的斜率,等于每一步自身斜率的乘积
轮到你了

这条链是 g(x) = (3x - 2) ** 2,然后 h(u) = u ** 3,所以末尾是 h(g(x))。编写 chain_slope(x),用链式法则(把局部斜率乘起来)而不是用微调,返回末尾对 x 的斜率。注意 g 本身就是两个步骤,先是 3x - 2,再取平方,所以整条链有三个步骤:把三个局部斜率全部乘起来,每一个都在它那一步所在的位置测量。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。