把微调一路传下去(链式法则)
为什么重要 一个网络就是函数套着函数。链式法则说明了开头的一次微调是怎么传到末尾的。反向传播不过如此。
看见它
三个步骤:把 x 翻倍,然后加 1,然后取平方。从 x = 2 开始:翻倍得到 4,加 1 得到 5,平方得到 25。
现在把 x 微调一个很小的量。翻倍让微调变大 2 倍。加 1 让它保持同样大小(乘 1)。在 5 处取平方会把它乘以 2 乘 5 = 10。所以末尾移动的是微调的 2 乘 1 乘 10 = 20 倍。
链式法则:一连串步骤的斜率,等于每一步自身斜率的乘积,每一个都在那一步所在的位置测量。
用微调来检查:x = 2.001 得到 2 * 2.001 + 1 = 5.002,平方后是 25.020004。微调 0.001,末尾移动了 0.020004:20 倍。它是对的。
回顾 沿着链把各个局部斜率乘起来。
本课中的词语和符号
- 链式法则
- 一连串步骤的斜率,等于每一步自身斜率的乘积
这条链是 g(x) = (3x - 2) ** 2,然后 h(u) = u ** 3,所以末尾是 h(g(x))。编写 chain_slope(x),用链式法则(把局部斜率乘起来)而不是用微调,返回末尾对 x 的斜率。注意 g 本身就是两个步骤,先是 3x - 2,再取平方,所以整条链有三个步骤:把三个局部斜率全部乘起来,每一个都在它那一步所在的位置测量。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。