为什么一个被拉伸的碗会很慢(条件数)
为什么重要 真实的损失地形在某些方向上很陡,在另一些方向上几乎是平的。正是这种不匹配,而不是权重的数量,让普通的梯度下降变得很慢。
看一看
取 f = (k x squared + y squared) / 2。当 k = 1 时,它是一个圆形的碗。当 k = 100 时,它是一个狭长的山谷:横向很陡,纵向平缓。学习率必须同时适合两个方向。最好的单一选择 lr = 2 / (k + 1),会让每一步在两个方向上都保留距离的 (k - 1) / (k + 1):当 k = 100 时是 0.98。再大一点,陡峭的方向就会冲过头并且稳定得更慢(超过 2 / k 时它会无限制地增长);再小一点,平缓的方向就会爬得更慢。所以这次行走会在横跨山谷时走之字形,同时沿着山谷缓慢地前进。
条件数:最陡的曲率和最平缓的曲率之比,这里就是 k。普通的梯度下降大约需要 k 步才能取得良好的进展。
预测曲线:在运行之前,用最好的固定学习率 2 / (k + 1),预测在 k = 1、10 和 100 时需要多少步才能到达离底部 0.001 以内的地方。
回顾 拉伸会按照拉伸的程度减慢普通的下降。
本课中的词语和符号
- 条件数
- 最陡的方向比最平缓的方向陡多少
填写 my_guess(三个步数),然后编写 steps_to_converge(k):从 (1, 1) 出发,使用 lr = 2 / (k + 1),统计直到到 (0, 0) 的距离低于 0.001 为止的步数(在 100,000 处停下)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。