Sous-apprentissage et surapprentissage
C'est la tension centrale de tout le machine learning, et tu as maintenant les outils pour la voir directement. Un modèle peut échouer de deux façons opposées.
- Sous-apprentissage (underfitting) : le modèle est trop simple pour capter le motif. Il fait mal à la fois sur les données d'entraînement et sur les données de test. Imagine tracer une droite à travers des données qui font clairement une courbe.
- Surapprentissage (overfitting) : le modèle est trop complexe et mémorise les données d'entraînement, y compris leur bruit et leurs bizarreries. Il a un super score en entraînement mais un mauvais en test, car il a appris les exemples précis au lieu de la règle générale.
La complexité d'un arbre de décision se règle avec max_depth, le nombre de niveaux de questions autorisés :
shallow = DecisionTreeClassifier(max_depth=1, random_state=0) # too simple
deep = DecisionTreeClassifier(max_depth=None, random_state=0) # unlimitedUn arbre de profondeur 1 ne peut poser qu'une question, donc il est forcé d'être grossier et a tendance à sous-apprendre. Un arbre de profondeur illimitée continue de diviser jusqu'à isoler les lignes d'entraînement, donc il peut pousser l'exactitude en entraînement à un parfait 1.0 tout en faisant moins bien sur les lignes de test jamais vues.
Le signe révélateur du surapprentissage est un écart : l'exactitude en entraînement bien plus haute qu'en test. Tout l'art de régler un modèle consiste à trouver la complexité intermédiaire qui marche bien sur les données de test, le seul score qui compte.
Tu vas entraîner un arbre peu profond et un arbre profond, noter l'exactitude en entraînement et en test pour chacun, et calculer l'écart de surapprentissage pour que la relation soit là, dans les chiffres.
Un jeu de données bruité et un découpage train/test sont déjà prêts. Entraîne shallow = DecisionTreeClassifier(max_depth=1, random_state=0) et deep = DecisionTreeClassifier(max_depth=None, random_state=0) sur les données d'entraînement. Note quatre nombres : shallow_train, shallow_test, deep_train, deep_test (l'exactitude sur le jeu correspondant pour chaque arbre). Puis écris overfit_gap = deep_train - deep_test.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.