第 5 模块:优化
你可以行走其上的损失曲面
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 每一个优化器,都是在一片你看不见的地形上往下坡走的一种不同方式。先在一片简单的地形上走一走。
把损失想象成一片地形:两个权重是你在地图上的位置,而损失是高度。训练就是往下坡走。梯度指向上坡,所以每一步都朝着相反的方向走:position = position - lr * gradient。
很小的数字
在碗 f(x, y) = x squared + y squared 上,(3, 4) 处的梯度是 (6, 8)。用 lr 0.1,这一步会走到 (3 - 0.6, 4 - 0.8) = (2.4, 3.2)。每一步都保留到底部距离的 80%,所以 20 步之后,你大约在你出发位置的 1% 处。
学习率:相对于梯度迈多远的步子。太小会爬行;太大会冲过头。
回顾 逆着梯度迈步;学习率决定步幅。
轮到你了
编写 descend(grad, start, lr, steps),以 NumPy 数组的形式返回访问过的位置列表(包括起点)。然后选择 my_lr,让你在课上那个碗上从 (3, 4) 出发,最多 15 步之内到达离底部 0.01 以内的地方。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。