第 4 模块:你自己的自动微分引擎
引子:十行代码训练一个数字识别器
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 在第 3 模块中,你手写了每一个梯度。真实的网络有几十种层;没有人会每次都手工推导它们。一个自动微分引擎会替你做这件事,而到这个模块结束时,你就会写出一个。
最前面的几行导入了你即将构建的那个完成版引擎(它被藏起来了,这样接下来的课仍然由你来解决)。看一看数据之后的那十行:它们构建了一个网络,并在数字上训练它,而它们没有任何地方提到梯度公式。loss.backward() 会把它们全部算出来。
先预测曲线:猜一猜第 1 个轮次之后和第 10 个轮次之后的平均训练损失。
自动微分:自动求导。你只写前向的计算;引擎会把它记录下来,并通过反向运行链式法则计算出每一个梯度。
本课中的词语和符号
- 自动微分
- 自动的梯度:你写前向传播,引擎做反向传播
- Tensor
- 在这里指:一个数组,加上它的梯度,再加上它所来自的那些 Tensor
- zero_grad
- 在下一步之前重置梯度,因为 backward 会往梯度上累加
轮到你了
填写 my_guess,然后运行。读一读那十行训练代码,留意缺了什么。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。