Doppelte Abnahme
Warum das wichtig ist Die Lehrbuchregel "mehr Parameter bedeuten mehr Overfitting" gilt für große Modelle nicht. Zu verstehen, warum, verändert deine Sicht auf die Modellgröße.
Sieh es dir an
Spiele die Animation ab. Wir passen 40 Trainingspunkte an, indem wir nur die ersten p von 400 verfügbaren Features nutzen und unter den exakten Anpassungen diejenige mit den kleinsten Gewichten wählen. Wenn p in Richtung der Anzahl der Trainingspunkte (40) wächst, steigt der Testfehler langsam und dann steil bis zu einem Höhepunkt genau dort, wo die beiden gleich sind. Dort hat das Modell gerade genug Freiheit, um jeden Trainingspunkt zu treffen, und nur einen Weg dazu, meist einen wilden. Nach dem Höhepunkt gibt es viele exakte Anpassungen und die Wahl derjenigen mit den kleinsten Gewichten ist eine sanfte Anpassung: der Testfehler fällt wieder und mit genug Features endet er niedriger als bei den kleinen Modellen.
Interpolation threshold: die Modellgröße, bei der es die Trainingsdaten genau anpassen kann. Der Double Descent erreicht dort seinen Höhepunkt.
Tipp die Kurve: Prädiziere die Anzahl der Features mit dem höchsten Testfehler und ob p = 400 besser ist als p = 5.
Lies die Zahlen ehrlich
Dieses Spielzeug ist gebaut, um die Form der Kurve zu zeigen, nicht um gut vorherzusagen. Sein Signal ist dünn über alle 400 features verteilt und es gibt nur 40 Trainingspunkte, also ist jedes Modell hier schlecht: das Vorhersagen von 0 für alles erzielt einen medianen Testfehler von etwa 1.01, p = 5 erzielt etwa 1.11 und p = 400 etwa 0.91. Der Peak bei p = 40 liegt bei etwa 36. Der zweite Abfall ist echt, aber er landet nur ein wenig unter "nichts vorhersagen".
Der Peak hat auch eine Heilung, die du bereits kennst. Weight decay (ridge) mit einer Stärke, die auf Validierungsdaten gewählt wurde, anstatt der exact fit mit den kleinsten Gewichten, hält den Fehler bei jeder Größe nahe 1.0, p = 40 eingeschlossen (etwa 1.02). Double descent ist das, was bei exact fits passiert; ein abgestimmter Regularisierer entfernt den Spike.
Wörter und Symbole in dieser Lektion
- Overfitting, Underfitting
- Anpassung des Rauschens in den Trainingsdaten; oder zu einfach, um das Muster anzupassen
- ridge (alpha)
- Kleinste-Quadrate-Methode mit Weight Decay der Stärke alpha
- Interpolationsschwelle
- die Modellgröße, die genau in die Trainingsdaten passt
Fülle my_peak und my_400_beats_5 aus. Schreib dann test_error(p): Passe für die Seeds 0 bis 19 mit np.linalg.pinv(X[:, :p]) @ y an, miss den mittleren quadratischen Fehler auf den Testdaten und gib den Median über die Seeds zurück.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.