Splits en lekkage
Waarom dit ertoe doet Als informatie uit de testdata de training bereikt, is de testscore geen test meer. Dit is de meest voorkomende manier waarop eerlijke mensen verkeerde getallen publiceren.
De regel: de testset mag geen rol spelen bij enige beslissing, inclusief preprocessing. Drie manieren waarop het binnensluipt:
- Schalen met alle data. Berekenen van het gemiddelde en de spreiding op elke rij, inclusief de testrijen, laat de testwaarden de trainingsinputs vormen. Klein, maar echt.
- Kenmerken kiezen met alle labels. Het kiezen van de kenmerken die het meest correleren met het label, waarbij ook de testlabels worden gebruikt, kan ervoor zorgen dat pure ruis voorspellend lijkt. Dit kan erg groot zijn.
- Duplicaten over de splitsing. Hetzelfde voorbeeld in beide sets: het model wordt getest op iets wat het uit het hoofd heeft geleerd.
Leakage: testinformatie die het trainingsproces bereikt, waardoor scores beter lijken dan ze echt zijn.
Zet leaky in een dictionary die aangeeft welke van de drie pipelines lekken. Schrijf daarna pipeline_3_fixed(X, y): hetzelfde idee, waarbij je de 5 features kiest met alleen de eerste 200 rijen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.