Kurrikulum Leson 91 van 246 · Module 7: Werk aan nuwe data
Module 7: Werk aan nuwe data

Dubbele daalgang

Hoekom dit saak maak Die handboekreël "meer parameters beteken meer overfitting" breek vir groot modelle. Om te sien hoekom verander hoe jy oor modelgrootte dink.

Sien dit

Speel die animasi af. Ons pas 40 opleidingspunte aan deur slegs die eerste p van 400 beskikbare kenmerke te gebruik, en kies tussen presiese aanpassings die een met die kleinste gewigte. Soos p groei na die aantal opleidingspunte (40), klim die toetsfout, stadig en dan steil, tot 'n piek presies waar die twee gelyk is. Daar het die model net genoeg vryheid om elke opleidingspunt te tref, en net een manier om dit te doen, gewoonlik 'n wilde een. Verby die piek is daar baie presiese aanpassings en om die een met die kleinste gewigte te kies is 'n sagte aanpassing: die toetsfout daal weer, en met genoeg kenmerke eindig dit laer as die klein modelle.

Interpolation threshold: die modelgrootte waarby dit die opleidingsdata presies kan pas. Dubbele dalingspieke is daar.

Voorspel die kurwe: voorspel die aantal kenmerke met die hoogste toetsfout, en of p = 400 beter is as p = 5.

Lees die nommers eerlik af

Hierdie speelding is gebou om die vorm van die kurwe te wys, nie om goed te voorspel nie. Sy sein is dun oor al 400 features versprei en daar is net 40 opleidingspunte, so elke model hier is swak: om 0 vir alles te voorspel skoort 'n median-toetsfout van ongeveer 1.01, p = 5 skoort ongeveer 1.11 en p = 400 ongeveer 0.91. Die piek by p = 40 is ongeveer 36. Die tweede daal is werklik, maar dit land net 'n bietjie onder "voorspel niks" nie.

Die piek het ook 'n genesing wat jy reeds ken. Weight decay (ridge) met 'n sterkte wat op validasiedata gekies word, in plaas van die kleinste-gewigte exacte aanpassing, hou die fout naby 1.0 by elke grootte, p = 40 ingesluit (ongeveer 1.02). Dubbele daal is wat met exacte aanpassings gebeur; 'n aangepaste regulariser verwyder die piek.

Woorde en simbole in hierdie les
overfitting, onderpassing
pas die geraas in die opleidingsdata; of te eenvoudig om die patroon te pas
ridge (alpha)
minste kwadraat met gewigverval van sterkte alpha
interpolasiedrempel
die modelgrootte wat presies by die opleidingsdata pas
Jou beurt

Vul my_peak en my_400_beats_5 in. Skryf dan test_error(p): vir saadjies 0 tot 19, pas met np.linalg.pinv(X[:, :p]) @ y, meet die test mean squared error, en gee die mediaan oor saadjies terug.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.