Lehrplan Lektion 86 von 246 · Modul 7: Arbeiten mit neuen Daten
Modul 7: Arbeiten mit neuen Daten

Zu einfach, zu komplex, gemessen

Warum das wichtig ist Ein Modell ist nur auf Daten nützlich, die es nicht gesehen hat. Das zu messen, anstatt den Trainingswert, ist die erste Gewohnheit von jedem, der Modelle baut.

Passe Polynome steigenden Grades an 30 verrauschte Punkte einer glatten Kurve an. Grad 1 ist eine gerade Linie: zu einfach, sie verpasst die Biegung (underfitting). Grad 15 biegt sich, um dem Rauschen in diesen speziellen 30 Punkten zu folgen: sein Trainingsfehler ist der niedrigste von allen (0.014), aber auf neuen Punkten schneidet er schlechter ab als Grad 3 (0.075 gegenüber 0.051). Diese Lücke, der Trainingsfehler weit unter dem Fehler auf neuen Daten, ist overfitting. Irgendwo dazwischen liegt der ideale Punkt.

Der Trainingsfehler sinkt nur, wenn der Grad steigt, also kann er den idealen Punkt nicht finden. Der validation Fehler, an Punkten die Anpassung nie sah, kann es.

Validierungsset: Daten, die vom Training zurückgehalten und zur Auswahl von Einstellungen wie der Modellgröße verwendet werden.

Wörter und Symbole in dieser Lektion
Overfitting, Underfitting
Anpassung des Rauschens in den Trainingsdaten; oder zu einfach, um das Muster anzupassen
Validierungsset
zur Auswahl der Einstellungen verwendete zurückgehaltene Daten
Du bist dran

Schreibe errors(deg) und gib (train_mse, val_mse) für ein Polynom vom Grad deg zurück, das mit np.polyfit auf die 30 Punkte angepasst wurde. Setze dann best_degree auf den Grad von 1 bis 15 mit dem niedrigsten Validierungsfehler, berechnet aus deiner eigenen Kurve.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.