Kurrikulum Leson 87 van 246 · Module 7: Werk aan nuwe data
Module 7: Werk aan nuwe data

Vooroordeel en variansie, en gewigverval as 'n prior

Waarom dit saak maak Oorfitting verskyn as 'n gaping: die training error is veel laer as die fout op nuwe data. Twee meetbare oorsake lê agter elke sulke gaping, en hulle het verskillende oplossings nodig.

Trek vyf nuwe opleidingssets uit dieselfde bron en pas dieselfde soort model by elk aan. Kyk na die vyf voorspellings op een punt:

  • As hulle almal saamstem maar almal op dieselfde manier verkeerd is: hoë bias (te eenvoudig).
  • As hulle wild met mekaar verskil: hoë variance (te buigsaam, jaag die geraas van elke stel).

Variance is hoeveel die model verander wanneer die training data verander. Hoë variantie is gewoonlik die oorsaak van overfitting, maar die twee woorde is nie dieselfde ding nie: overfitting is die gaping wat jy sien, variantie is een ding wat jy daaragter kan meet.

Gewigverval as 'n prior

Weight decay voeg alpha * (sum of weights squared) by die loss. In waarskansies beteken dit, voordat jy data sien, "Ek glo klein gewigte is meer waarskynlik". Daardie geloof trek wilde aanpassings na kalm een en verlaag variansie, ten koste van 'n bietjie bias. Vir polinoanpassing het dit 'n presiese oplossing genaamd ridge regression: w = solve(A.T A + alpha I, A.T y), waar A die magte van x hou.

Prior: wat jy glo oor die weights voordat jy data sien. Weight decay is 'n prior wat klein weights verkies.

Woorde en simbole in hierdie les
oorverdikking, onderverdikking
pas die geraas in die opleidingsdata; of te eenvoudig om die patroon te pas
bias, varians
om die selfde manier verkeerd elke keer; of baie verander met die training data
prior
wat jy glo van die weights voordat jy data sien
ridge (alpha)
minste kwadraat met gewigverval van sterkte alpha
Jou beurt

Skryf ridge_poly(x, y, deg, alpha) wat die koëffisiënte teruggee (laagste mag eerste, gebruik die formule hierbo), en spread_at_half(deg, alpha): pas vyf opleidingssets aan (saads 0 tot 4, 20 punte elk, gemaak deur make_set) en gee die standaardafwyking van die vyf voorspellings by x = 0.5 terug. Stel dan high_variance in op wichever van grade 1, 3 of 12 (alpha 0) die grootste spreiding het.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.