欠拟合与过拟合
这是整个机器学习中的核心矛盾,现在你有工具直接看到它了。模型可能以两种相反的方式失败。
- 欠拟合:模型太简单,无法捕捉规律。它在训练数据和测试数据上都表现很差。想象一下在一组明显弯曲的数据上画一条直线。
- 过拟合:模型太复杂,记住了训练数据,包括其中的噪声和怪癖。它在训练上得分很高,在测试上却很差,因为它学到的是具体的例子,而不是一般的规则。
决策树的复杂度由 max_depth 控制,也就是允许它有多少层问题:
shallow = DecisionTreeClassifier(max_depth=1, random_state=0) # too simple
deep = DecisionTreeClassifier(max_depth=None, random_state=0) # unlimited深度为 1 的树只能问一个问题,所以它被迫很粗糙,往往会欠拟合。不限深度的树会一直划分,直到把每个训练行都单独分出来,所以它能把训练准确率推到完美的 1.0,而在没见过的测试行上表现更差。
过拟合的明显迹象是一个差距:训练准确率比测试准确率高得多。调整模型的整套功夫,就是找到在测试数据上表现好的中等复杂度,而测试分数是唯一算数的分数。
你要训练一棵浅树和一棵深树,记录每棵树的训练和测试准确率,并计算过拟合差距,让这种关系直接体现在数字里。
一个有噪声的数据集和训练集/测试集划分已经准备好了。在训练数据上训练 shallow = DecisionTreeClassifier(max_depth=1, random_state=0) 和 deep = DecisionTreeClassifier(max_depth=None, random_state=0)。记录四个数:shallow_train、shallow_test、deep_train、deep_test(每棵树在对应集合上的准确率)。然后设 overfit_gap = deep_train - deep_test。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。