关卡:在不欠拟合的情况下缩小差距(关闭 AI)
为什么重要 如果允许你把模型弄得毫无用处,缩小训练/验证之间的差距是很容易的。在保持模型良好的同时做到这一点,才是真正的技能。已经掌握这个模块了?你可以先参加这个关卡,再学其他的课:通过它会把这个模块标记为完成,并打开下一个模块。
AI 导师已关闭。一个在 25 个点上的 14 次多项式过拟合得很严重。你必须保持 14 次,并使用权重衰减(岭回归,来自偏差和方差那一课),用验证集来选择它的强度。
因为你是通过看验证集来选择 alpha 的,所以验证误差现在有点偏乐观了。所以关卡会在一个由 2,000 个新点组成、你的代码从未见过的单独测试集上给你打分。这才是报告一个你调整过的模型的诚实方式。
本课中的词语和符号
- 过拟合、欠拟合
- 拟合了训练数据中的噪声;或者太简单而拟合不了模式
- 验证集
- 留出来、用于选择设置的数据
- 偏差、方差
- 每次都以同样的方式出错;或者随着训练数据变化很大
- 岭回归(alpha)
- 带有强度为 alpha 的权重衰减的最小二乘法
编写 fit(x, y),为一个 14 次多项式返回系数(最低次幂在前)。它必须是一个岭回归解,即对某个大于 0 的 alpha 有 solve(A.T A + alpha I, A.T y)(测试会检查这一点,所以一个用零补齐的更低次多项式不算数)。如果在隐藏测试集上的误差低于 0.045,并且差距(测试减去训练)低于 0.05,就能通过。作为参照:普通的最小二乘法测试误差大约是 0.73,最好的 alpha 测试误差大约是 0.034,而在验证集上诚实地选出的 alpha,在任何合理的网格上(比如 10 的幂),测试误差大约是 0.034 到 0.039。一个平坦的、收缩过度的拟合会达不到 0.045 的限制。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
你的学习进度会被匿名统计。 更改
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。