课程大纲 第 95 课,共 250 课 · 你的第一批机器学习模型
你的第一批机器学习模型

欠拟合与过拟合

这是整个机器学习中的核心矛盾,现在你有工具直接看到它了。模型可能以两种相反的方式失败。

  • 欠拟合:模型太简单,无法捕捉规律。它在训练数据和测试数据上都表现很差。想象一下在一组明显弯曲的数据上画一条直线。
  • 过拟合:模型太复杂,记住了训练数据,包括其中的噪声和怪癖。它在训练上得分很高,在测试上却很差,因为它学到的是具体的例子,而不是一般的规则。

决策树的复杂度由 max_depth 控制,也就是允许它有多少层问题:

shallow = DecisionTreeClassifier(max_depth=1, random_state=0)   # too simple
deep    = DecisionTreeClassifier(max_depth=None, random_state=0) # unlimited

深度为 1 的树只能问一个问题,所以它被迫很粗糙,往往会欠拟合。不限深度的树会一直划分,直到把每个训练行都单独分出来,所以它能把训练准确率推到完美的 1.0,而在没见过的测试行上表现更差。

过拟合的明显迹象是一个差距:训练准确率比测试准确率高得多。调整模型的整套功夫,就是找到在测试数据上表现好的中等复杂度,而测试分数是唯一算数的分数。

你要训练一棵浅树和一棵深树,记录每棵树的训练和测试准确率,并计算过拟合差距,让这种关系直接体现在数字里。

轮到你了

一个有噪声的数据集和训练集/测试集划分已经准备好了。在训练数据上训练 shallow = DecisionTreeClassifier(max_depth=1, random_state=0) 和 deep = DecisionTreeClassifier(max_depth=None, random_state=0)。记录四个数:shallow_train、shallow_test、deep_train、deep_test(每棵树在对应集合上的准确率)。然后设 overfit_gap = deep_train - deep_test。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。