Batchgrootte en leertempo saam
Waarom dit saak maak Batch size en learning rate is nie aparte knoppies nie. Verander een en die beste waarde van die ander een skuif.
'n groter batch gee 'n minder raserige gradiënt, so dit kan 'n groter stap veilig neem. 'n Ruwe reël wat baie mense begin met: as jy die batch size verdubbel, kan jy die learning rate ongeveer verdubbel, tot by 'n punt waar die stap onstabiel word.
Resultate wissel ook van seed tot seed, so vergelyk instellings oor verskeie seeds, nooit net een run nie.
Nog een lokval: die labels hier bevat geraas met 'n spreiding van 0.1, so geen instelling kan die loss onder ongeveer 0.1 kwadraat = 0.01 druk nie. Naby daardie vloer is daar verskeie pare wat gelyk is (byvoorbeeld 0.0113 teen 0.0114). 'n "wenner" met minder as die seed-to-seed wobbel is nie 'n wenner nie, so die run lys ook elke paar binne 5% van die beste.
Opsomming Stem hulle saam, en neem die gemiddelde oor seeds.
Woorde en simbole in hierdie les
- SGD
- gradient descent deur gebruik te maak van klein willeke batches
Voorspel eers: in my_pick, skryf die (batch, lr) paar van die rooster wat volgens jou na 2 epochs met die laagste verlies eindig. Skryf dan sweep(X, y, batches, lrs, seeds) wat 'n dictionary van (batch, lr) na die gemiddelde finale verlies oor die seeds teruggee (gebruik die gegewe sgd), en best(results) wat die beste paar teruggee.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.