课程大纲 第 64 课,共 246 课 · 第 5 模块:优化
第 5 模块:优化

你可以行走其上的损失曲面

为什么重要 每一个优化器,都是在一片你看不见的地形上往下坡走的一种不同方式。先在一片简单的地形上走一走。

把损失想象成一片地形:两个权重是你在地图上的位置,而损失是高度。训练就是往下坡走。梯度指向上坡,所以每一步都朝着相反的方向走:position = position - lr * gradient。

很小的数字

在碗 f(x, y) = x squared + y squared 上,(3, 4) 处的梯度是 (6, 8)。用 lr 0.1,这一步会走到 (3 - 0.6, 4 - 0.8) = (2.4, 3.2)。每一步都保留到底部距离的 80%,所以 20 步之后,你大约在你出发位置的 1% 处。

学习率:相对于梯度迈多远的步子。太小会爬行;太大会冲过头。

回顾 逆着梯度迈步;学习率决定步幅。

轮到你了

编写 descend(grad, start, lr, steps),以 NumPy 数组的形式返回访问过的位置列表(包括起点)。然后选择 my_lr,让你在课上那个碗上从 (3, 4) 出发,最多 15 步之内到达离底部 0.01 以内的地方。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。