Programme Leçon 96 sur 250 · Tes premiers modèles de machine learning
Tes premiers modèles de machine learning

Forêts aléatoires : la sagesse des foules

Un seul arbre de décision est facile à comprendre mais fragile : il surapprend facilement et ses prédictions peuvent beaucoup bouger avec de petits changements de données. Une forêt aléatoire règle ça avec une idée simple et puissante : entraîner beaucoup d'arbres différents et les laisser voter.

Chaque arbre de la forêt pousse sur un échantillon aléatoire un peu différent des données et examine un sous-ensemble aléatoire de caractéristiques à chaque division. Chaque arbre est donc un peu différent et fait des erreurs différentes. Quand tu fais la moyenne de leurs votes, les erreurs individuelles ont tendance à s'annuler et les bizarreries aléatoires disparaissent. C'est la sagesse des foules : un groupe varié de devineurs imparfaits bat souvent n'importe quel expert seul.

from sklearn.ensemble import RandomForestClassifier

forest = RandomForestClassifier(n_estimators=50, random_state=0)
forest.fit(X_train, y_train)

n_estimators est le nombre d'arbres à faire pousser (50 ici). Plus d'arbres aident en général un peu, jusqu'à un certain point, au prix de la vitesse. Comme toujours, random_state=0 garde le résultat reproductible puisque l'échantillonnage de la forêt est aléatoire.

Le gros avantage : une forêt généralise mieux, en général, qu'un seul arbre, donc un score plus haut sur le jeu de test mis de côté. C'est l'un des modèles prêts à l'emploi les plus fiables, et un excellent choix par défaut.

Tu vas entraîner un simple arbre de décision et une forêt aléatoire sur le même découpage, noter les deux sur le jeu de test, et confirmer que la forêt fait au moins aussi bien.

À ton tour

Un jeu de données et un découpage train/test sont prêts. Entraîne tree = DecisionTreeClassifier(max_depth=3, random_state=0) et forest = RandomForestClassifier(n_estimators=50, random_state=0) sur les données d'entraînement. Note les deux sur le jeu de test avec accuracy_score, en rangeant les résultats dans tree_acc et forest_acc.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.