Programma Les 87 van 246 · Module 7: Werken met nieuwe data
Module 7: Werken met nieuwe data

Bias en variantie, en weight decay als een prior

Waarom dit ertoe doetOverfitting verschijnt als een gat: de trainingsfout ligt veel lager dan de fout op nieuwe data. Twee meetbare oorzaken zitten achter elk dergelijk gat, en ze hebben verschillende oplossingen nodig.

Trek vijf nieuwe trainingssets uit dezelfde bron en pas hetzelfde soort model toe op elk. Kijk naar de vijf voorspellingen op één punt:

  • Als ze allemaal het eens zijn maar allemaal op dezelfde manier fout zitten: high bias (te simpel).
  • Als ze sterk met elkaar verschillen: high variance (te flexibel, het ruis van elke set volgen).

Variance is hoeveel het model verandert wanneer de trainingsdata verandert. Hoge variantie is de gebruikelijke oorzaak van overfitting, maar de twee woorden zijn niet hetzelfde: overfitting is de kloof die je ziet, variantie is iets dat je erachter kunt meten.

Weight decay als een prior

Weight decay voegt alpha * (sum of weights squared) toe aan de loss. In termen van waarschijnlijkheid zegt het, voordat je data ziet, "Ik geloof dat kleine weights waarschijnlijker zijn". Die overtuiging trekt wilde fits naar rustige fits en verlaagt de variantie, ten koste van een beetje bias. Voor polynomial fitting heeft het een exacte oplossing genaamd ridge regression: w = solve(A.T A + alpha I, A.T y), waarbij A de machten van x bevat.

Prior: wat je gelooft over de weights voordat je data ziet. Weight decay is een prior die kleine weights bevoordeelt.

Woorden en symbolen in deze les
overfitting, underfitting
het ruis in de trainingsdata aanpassen; of te simpel om het patroon aan te passen
bias, variantie
elke keer op dezelfde manier fout zijn; of veel veranderen met de trainingsdata
prior
wat je gelooft over de weights voordat je data ziet
ridge (alpha)
minste kwadraten met weight decay van sterkte alpha
Jij bent aan de beurt

Schrijf ridge_poly(x, y, deg, alpha) terug de coëfficiënten (laagste macht eerst, gebruik de formule hierboven), en spread_at_half(deg, alpha): pas vijf trainingssets aan (seeds 0 tot 4, elk 20 punten, gemaakt door make_set) en geef de standaarddeviatie van de vijf voorspellingen bij x = 0.5 terug. Stel daarna high_variance in op de graad van 1, 3 of 12 (alpha 0) die de grootste spreiding heeft.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.