Vooroordeel en variansie, en gewigverval as 'n prior
Waarom dit saak maak Oorfitting verskyn as 'n gaping: die training error is veel laer as die fout op nuwe data. Twee meetbare oorsake lê agter elke sulke gaping, en hulle het verskillende oplossings nodig.
Trek vyf nuwe opleidingssets uit dieselfde bron en pas dieselfde soort model by elk aan. Kyk na die vyf voorspellings op een punt:
- As hulle almal saamstem maar almal op dieselfde manier verkeerd is: hoë bias (te eenvoudig).
- As hulle wild met mekaar verskil: hoë variance (te buigsaam, jaag die geraas van elke stel).
Variance is hoeveel die model verander wanneer die training data verander. Hoë variantie is gewoonlik die oorsaak van overfitting, maar die twee woorde is nie dieselfde ding nie: overfitting is die gaping wat jy sien, variantie is een ding wat jy daaragter kan meet.
Gewigverval as 'n prior
Weight decay voeg alpha * (sum of weights squared) by die loss. In waarskansies beteken dit, voordat jy data sien, "Ek glo klein gewigte is meer waarskynlik". Daardie geloof trek wilde aanpassings na kalm een en verlaag variansie, ten koste van 'n bietjie bias. Vir polinoanpassing het dit 'n presiese oplossing genaamd ridge regression: w = solve(A.T A + alpha I, A.T y), waar A die magte van x hou.
Prior: wat jy glo oor die weights voordat jy data sien. Weight decay is 'n prior wat klein weights verkies.
Woorde en simbole in hierdie les
- oorverdikking, onderverdikking
- pas die geraas in die opleidingsdata; of te eenvoudig om die patroon te pas
- bias, varians
- om die selfde manier verkeerd elke keer; of baie verander met die training data
- prior
- wat jy glo van die weights voordat jy data sien
- ridge (alpha)
- minste kwadraat met gewigverval van sterkte alpha
Skryf ridge_poly(x, y, deg, alpha) wat die koëffisiënte teruggee (laagste mag eerste, gebruik die formule hierbo), en spread_at_half(deg, alpha): pas vyf opleidingssets aan (saads 0 tot 4, 20 punte elk, gemaak deur make_set) en gee die standaardafwyking van die vyf voorspellings by x = 0.5 terug. Stel dan high_variance in op wichever van grade 1, 3 of 12 (alpha 0) die grootste spreiding het.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.