课程大纲 第 28 课,共 246 课 · 第 2 模块:数学和概率,只学需要的
第 2 模块:数学和概率,只学需要的

为什么反向很便宜(反向模式)

为什么重要 一个网络有数百万个权重。如果每一个梯度都需要它自己的一遍计算,训练就不可能进行。倒着走,只要再多大约一遍的代价就能得到所有梯度。

很小的数字

取 L = f3(f2(f1(x))),其中 x 有 3 个数字,L 是一个数字。用微调正着走,你微调一个输入,把它推过全部三个步骤,学到一个梯度。三个输入就意味着三趟完整的旅程。

倒着走,你从 L 开始,它是一个数字,然后把“L 有多在乎这个?”往回推过 f3,再到 f2,再到 f1。一趟旅程就能一次得到每一个输入的梯度。

3 个输入时,你走 1 趟而不是 3 趟。一百万个权重时,走 1 趟而不是一百万趟。不过反向的一趟并不是免费的:它的代价大约是 2 到 3 次前向传播,因为每一步都要乘上它的局部斜率。所以在实际中节省的大约是 n / 3,对一百万个权重来说仍然大约是 300,000 倍。这就是为什么每一个深度学习库都倒着算。

反向模式:从输出一路扫回到输入来计算梯度。它的基本构件叫作向量-雅可比积;下一课会把它拆开来看。

回顾 一个输出,很多个输入:倒着走。

本课中的词语和符号
向量
一组数字,每个特征一个
轮到你了

为一个有 n 个权重和一个损失的网络填写运算次数。forward_trips(n):逐个微调输入的方法需要多少趟完整的传播(每个权重一趟微调过的传播;不算你同样会运行的那一趟没有微调的传播)。backward_trips(n):反向模式需要多少次反向扫描。然后把 saving_for_a_million 设为 n = 1,000,000 时旅程数的比值(不是工作量的比值)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。