Ruisagtige stappe (SGD en minibatches)
Hoekom dit saak maakRegte datasette het miljoene voorbeelde. Om die presiese gradiënt op almal daar te bereken vir elke stap is veel te stadig, so ons skat dit vanaf 'n klein batch.
A minibatch gradiënt gebruik sê 32 willeke uitleggings in plaas van al 512. Dit wys ongeveer afdalend met 'n bietjie geraas. Jy kry 16 goedkoop raserige stappe vir die prys van een presiese stap en in die praktyk wen dit maklik.
Wat maak die geraas
Die verlieskurwe word skurfies in plaas van glad, en naby die onderkant stabiliseer dit nooit heeltemal nie: dit wankel rondom die minimum. Om die learning rate laat in die opleiding te verlaag, kalmeer die wankeling. 'n Bietjie geraas is selfs nuttig in groot netwerke om die pad uit swak plekke te skud.
SGD: stokastiese gradiëntdaal, gradiëntdaal met minibatch-skattingen van die gradiënt.
Opsomming Baie goedkoop raserige stappe wen min presiese \ones.
Woorde en simbole in hierdie les
- SGD
- gradient descent deur klein willeke batches te gebruik
- minibatch
- 'n klein willeke stukkie van die data wat vir een stap gebruik word
Skryf sgd(X, y, lr, batch, epochs, seed) vir lineêre regressie (verlies: mean squared error), skuif elke epoch, en gee (w, losses) terug waar losses die volledige-data-verlies na elke epoch is. Met batch 32, lr 0.05 en 10 epochs moet dit onder 0.02 eindig.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.