Les découpages et les fuites
Pourquoi c'est important Si une information des données de test atteint l'entraînement, le score de test n'est plus un test. C'est la façon la plus courante dont des gens honnêtes publient des nombres faux.
La règle : le jeu de test ne doit jouer aucun rôle dans aucune décision, prétraitement compris. Trois façons dont il s'infiltre :
- Mettre à l'échelle avec toutes les données. Calculer la moyenne et la dispersion sur chaque ligne, lignes de test comprises, laisse les valeurs de test façonner les entrées d'entraînement. Petit, mais réel.
- Choisir des caractéristiques avec toutes les étiquettes. Choisir les caractéristiques les plus corrélées à l'étiquette, en utilisant aussi les étiquettes de test, peut faire paraître prédictif du pur bruit. Celle-ci peut être énorme.
- Des doublons à travers le découpage. Le même exemple dans les deux jeux : le modèle est testé sur quelque chose qu'il a mémorisé.
Fuite : des informations de test qui atteignent le processus d'entraînement, faisant paraître les scores meilleurs qu'ils ne le sont vraiment.
Affecte à leaky un dictionnaire qui dit lesquels des trois pipelines fuient. Puis écris pipeline_3_fixed(X, y) : la même idée, en choisissant les 5 caractéristiques avec seulement les 200 premières lignes.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.