Splits und Leckagen
Warum das wichtig ist Wenn Informationen aus den Testdaten das Training erreichen, ist der Testwert kein Test mehr. Das ist der häufigste Weg, wie ehrliche Menschen falsche Zahlen veröffentlichen.
Die Regel: der Testdatensatz darf bei keiner Entscheidung eine Rolle spielen, einschließlich der Vorverarbeitung. Drei Wege, wie er sich einschleicht:
- Skalierung mit allen Daten. Berechnung von Mittelwert und Streuung auf jeder Zeile, Testzeilen eingeschlossen, lass die Testwerte die Trainingsinputs formen. Klein, aber echt.
- Merkmale mit allen Labels auswählen. Die Merkmale auswählen, die am stärksten mit dem Label korrelieren, wobei auch die Test-Labels verwendet werden, kann reines Rauschen vorhersagbar erscheinen lassen. Das kann riesig sein.
- Duplikate über die Aufteilung hinweg.Dasselbe Beispiel in beiden Sets: das Modell wird auf etwas getestet, das es auswendig gelernt hat.
Leakage: Testinformationen erreichen den Trainingsprozess und lassen die Ergebnisse besser aussehen, als sie wirklich sind.
Setze leaky auf ein Dictionary, das angibt, welche der drei Pipelines lecken. Schreibe dann pipeline_3_fixed(X, y): dieselbe Idee, wähle die 5 features nur mit den ersten 200 Zeilen aus.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.