Kurrikulum Leson 66 van 246 · Module 5: Optimisering
Module 5: Optimisering

Ruisagtige stappe (SGD en minibatches)

Hoekom dit saak maakRegte datasette het miljoene voorbeelde. Om die presiese gradiënt op almal daar te bereken vir elke stap is veel te stadig, so ons skat dit vanaf 'n klein batch.

A minibatch gradiënt gebruik sê 32 willeke uitleggings in plaas van al 512. Dit wys ongeveer afdalend met 'n bietjie geraas. Jy kry 16 goedkoop raserige stappe vir die prys van een presiese stap en in die praktyk wen dit maklik.

Wat maak die geraas

Die verlieskurwe word skurfies in plaas van glad, en naby die onderkant stabiliseer dit nooit heeltemal nie: dit wankel rondom die minimum. Om die learning rate laat in die opleiding te verlaag, kalmeer die wankeling. 'n Bietjie geraas is selfs nuttig in groot netwerke om die pad uit swak plekke te skud.

SGD: stokastiese gradiëntdaal, gradiëntdaal met minibatch-skattingen van die gradiënt.

Opsomming Baie goedkoop raserige stappe wen min presiese \ones.

Woorde en simbole in hierdie les
SGD
gradient descent deur klein willeke batches te gebruik
minibatch
'n klein willeke stukkie van die data wat vir een stap gebruik word
Jou beurt

Skryf sgd(X, y, lr, batch, epochs, seed) vir lineêre regressie (verlies: mean squared error), skuif elke epoch, en gee (w, losses) terug waar losses die volledige-data-verlies na elke epoch is. Met batch 32, lr 0.05 en 10 epochs moet dit onder 0.02 eindig.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.