随机森林:群体的智慧
单棵决策树容易理解但很脆弱,它很容易过拟合,数据的微小变化也会让它的预测大幅摇摆。随机森林用一个简单而有力的想法解决了这个问题:训练许多棵不同的树,让它们投票。
森林里的每棵树都在一份略有不同的随机数据样本上生长,并在每次划分时考虑一个随机的特征子集。所以每棵树都有点不一样,犯的错也不一样。把它们的投票平均起来,个体的错误往往会互相抵消,随机的怪癖也会被冲掉。这就是群体的智慧:一群多样而不完美的猜测者,往往胜过任何一个专家。
from sklearn.ensemble import RandomForestClassifier
forest = RandomForestClassifier(n_estimators=50, random_state=0)
forest.fit(X_train, y_train)n_estimators 是要长多少棵树(这里是 50)。树越多通常会有一点帮助,但到一定程度就够了,代价是速度。和往常一样,因为森林的抽样是随机的,random_state=0 让结果可以重现。
最大的好处:森林通常比单棵树泛化得更好,也就是在留出的测试集上得分更高。它是最可靠的开箱即用模型之一,也是一个很好的默认选择。
你要在同一个划分上训练一棵普通的决策树和一个随机森林,在测试集上给两者打分,并确认森林至少表现得一样好。
数据集和训练集/测试集划分已经准备好了。在训练数据上训练 tree = DecisionTreeClassifier(max_depth=3, random_state=0) 和 forest = RandomForestClassifier(n_estimators=50, random_state=0)。用 accuracy_score 在测试集上给两者打分,结果存进 tree_acc 和 forest_acc。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。