课程大纲 第 103 课,共 246 课 · 第 9 模块:它真的更好吗?
第 9 模块:它真的更好吗?

划分与泄漏

为什么重要 如果测试数据中的任何信息到达了训练,测试分数就不再是一次测试了。这是诚实的人发表错误数字最常见的方式。

规则是:测试集绝不能参与任何决定,包括预处理。它悄悄溜进来的三种方式:

  • 用全部数据做缩放。在每一行上计算均值和离散程度,包括测试行,会让测试值影响训练输入。很小,但是真实存在。
  • 用全部标签选择特征。挑选和标签最相关的特征时也用上测试标签,可能会让纯粹的噪声看起来具有预测能力。这一种的影响可能很大。
  • 跨越划分的重复项。同一个样本同时出现在两个集合里:模型在它记住了的东西上接受测试。

泄漏:测试信息到达了训练过程,让分数看起来比实际更好。

轮到你了

把 leaky 设为一个字典,说明三条流水线中哪些有泄漏。然后编写 pipeline_3_fixed(X, y):同样的想法,只用前 200 行来选择 5 个特征。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。