Dubbele daling
Waarom dit ertoe doet De tekstboekregel "meer parameters betekent meer overfitting" werkt niet voor grote modellen. Begrijpen waarom verandert hoe je denkt over modelgrootte.
Bekijk het
Speel de animatie af. We passen 40 trainingspunten aan met alleen de eerste p van 400 beschikbare features, waarbij we uit de exacte fits de ene met de kleinste weights kiezen. Naarmate p groeit naar het aantal trainingspunten (40), stijgt de testfout, eerst langzaam en dan steil, naar een piek precies waar de twee gelijk zijn. Daar heeft het model net genoeg vrijheid om elk trainingspunt te raken, en slechts één manier om dat te doen, meestal een wilde. Na de piek zijn er veel exacte fits en het kiezen van de ene met de kleinste weights is een zachte fit: de testfout daalt weer, en met genoeg features eindigt het lager dan de kleine modellen.
Interpolation threshold: de modelgrootte waarbij het de trainingsdata precies kan passen. Double descent piekt daar.
Roep de Curve op: voorspel het aantal features met de hoogste testfout, en of p = 400 beter is dan p = 5.
Lees de getallen eerlijk
Dit speelgoed is gebouwd om de vorm van de curve te laten zien, niet om goed te voorspellen. Het signaal is dun verspreid over alle 400 features en er zijn slechts 40 trainingspunten, dus elk model hier is slecht: het voorspellen van 0 voor alles scoort een mediane testfout van ongeveer 1.01, p = 5 scoort ongeveer 1.11 en p = 400 ongeveer 0.91. De piek bij p = 40 is ongeveer 36. De tweede daling is echt, maar deze komt slechts een klein beetje onder "voorspel niets" uit.
De piek heeft ook een oplossing die je al kent. Weight decay (ridge) met een sterkte gekozen op validatiedata, in plaats van de exact fit met de kleinste gewichten, houdt de fout dicht bij 1.0 bij elke grootte, inclusief p = 40 (ongeveer 1.02). Double descent is wat er gebeurt bij exact fits; een afgestemde regulariser verwijdert de piek.
Woorden en symbolen in deze les
- overfitting, underfitting
- het ruis in de trainingsdata aanpassen; of te simpel om het patroon aan te passen
- ridge (alpha)
- minste kwadraten met weight decay van sterkte alpha
- interpolatiedrempel
- de modelgrootte die precies in de trainingsdata past
Vul my_peak en my_400_beats_5 in. Schrijf dan test_error(p): voor seeds 0 tot 19, fit met np.linalg.pinv(X[:, :p]) @ y, meet de test mean squared error, en retourneer de mediaan over seeds.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.