Bias en variantie, en weight decay als een prior
Waarom dit ertoe doetOverfitting verschijnt als een gat: de trainingsfout ligt veel lager dan de fout op nieuwe data. Twee meetbare oorzaken zitten achter elk dergelijk gat, en ze hebben verschillende oplossingen nodig.
Trek vijf nieuwe trainingssets uit dezelfde bron en pas hetzelfde soort model toe op elk. Kijk naar de vijf voorspellingen op één punt:
- Als ze allemaal het eens zijn maar allemaal op dezelfde manier fout zitten: high bias (te simpel).
- Als ze sterk met elkaar verschillen: high variance (te flexibel, het ruis van elke set volgen).
Variance is hoeveel het model verandert wanneer de trainingsdata verandert. Hoge variantie is de gebruikelijke oorzaak van overfitting, maar de twee woorden zijn niet hetzelfde: overfitting is de kloof die je ziet, variantie is iets dat je erachter kunt meten.
Weight decay als een prior
Weight decay voegt alpha * (sum of weights squared) toe aan de loss. In termen van waarschijnlijkheid zegt het, voordat je data ziet, "Ik geloof dat kleine weights waarschijnlijker zijn". Die overtuiging trekt wilde fits naar rustige fits en verlaagt de variantie, ten koste van een beetje bias. Voor polynomial fitting heeft het een exacte oplossing genaamd ridge regression: w = solve(A.T A + alpha I, A.T y), waarbij A de machten van x bevat.
Prior: wat je gelooft over de weights voordat je data ziet. Weight decay is een prior die kleine weights bevoordeelt.
Woorden en symbolen in deze les
- overfitting, underfitting
- het ruis in de trainingsdata aanpassen; of te simpel om het patroon aan te passen
- bias, variantie
- elke keer op dezelfde manier fout zijn; of veel veranderen met de trainingsdata
- prior
- wat je gelooft over de weights voordat je data ziet
- ridge (alpha)
- minste kwadraten met weight decay van sterkte alpha
Schrijf ridge_poly(x, y, deg, alpha) terug de coëfficiënten (laagste macht eerst, gebruik de formule hierboven), en spread_at_half(deg, alpha): pas vijf trainingssets aan (seeds 0 tot 4, elk 20 punten, gemaakt door make_set) en geef de standaarddeviatie van de vijf voorspellingen bij x = 0.5 terug. Stel daarna high_variance in op de graad van 1, 3 of 12 (alpha 0) die de grootste spreiding heeft.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.