Programma Les 103 van 246 · Module 9: Is het echt beter?
Module 9: Is het echt beter?

Splits en lekkage

Waarom dit ertoe doet Als informatie uit de testdata de training bereikt, is de testscore geen test meer. Dit is de meest voorkomende manier waarop eerlijke mensen verkeerde getallen publiceren.

De regel: de testset mag geen rol spelen bij enige beslissing, inclusief preprocessing. Drie manieren waarop het binnensluipt:

  • Schalen met alle data. Berekenen van het gemiddelde en de spreiding op elke rij, inclusief de testrijen, laat de testwaarden de trainingsinputs vormen. Klein, maar echt.
  • Kenmerken kiezen met alle labels. Het kiezen van de kenmerken die het meest correleren met het label, waarbij ook de testlabels worden gebruikt, kan ervoor zorgen dat pure ruis voorspellend lijkt. Dit kan erg groot zijn.
  • Duplicaten over de splitsing. Hetzelfde voorbeeld in beide sets: het model wordt getest op iets wat het uit het hoofd heeft geleerd.

Leakage: testinformatie die het trainingsproces bereikt, waardoor scores beter lijken dan ze echt zijn.

Jij bent aan de beurt

Zet leaky in een dictionary die aangeeft welke van de drie pipelines lekken. Schrijf daarna pipeline_3_fixed(X, y): hetzelfde idee, waarbij je de 5 features kiest met alleen de eerste 200 rijen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.