'n Swaar bal (momentum)
Hoekom dit saak maak Momentum is die een mees nuttige regstelling vir gestrekte valleie, en byna elke optimiser wat jy gaan gebruik het dit.
Sien dit eerste
Speel die animasi af. Die eenvoudige gradient descent zig-zag oor die vallei. 'n Swaar bal behou van sy vorige spoed: die zig-zags kanselleer mekaar uit (links, regs, links) terwyl die stewige afwaartse trek langs die vallei stap na stap optel. So versnel dit langs die vallei se vloer.
Noem dit
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
Met beta = 0.9 onthou vir die bal ongeveer die laaste 10 dusties.
Waarom is eenvoudige afhaling hier stadig
In hierdie bak is die steil rigting 50 keer steiler as die sagte een. Die leertempo van die vlak afdalingspad word beperk deur die steil rigting: bo 2/50 = 0.04 word die stappe oor die vallei groter en dit blaas op. Net onder die limiet, by 0.039, zig-zag dit oor die vallei (elke stap skuut oor en land aan die ander kant) terwyl dit langs dit kruip, want 0.039 is 'n klein tempo vir die sagte rigting. Momentum kan 'n groter tempo gebruik en sy spoed langs die vallei behou: dit skuut ook oor in die steil rigting, maar daardie swaie kanselleer terwyl die stootjies langs die vloer optel.
(Presies by lr = 1/50 = 0.02 is daar glad nie 'n zigzag nie: een stap land op die vallei-vloer, en die res is die stadige kruip. Probeer dit.)
(Die toneel teken 'n sagter vallei, 25 keer steiler oor, met beta 0.5, sodat sy paaie op die skerm pas; die nommers in hierdie les is vir die 50 keer vallei wat jy kodeer.)
Momentum: 'n lopende som van onlangse gradiënte wat sikkaks uitglad en spoed in konsekwente rigtings bou.
Woorde en simbole in hierdie les
- momentum (beta)
- hou deel van die vorige stap se velocity
Skryf steps_plain(lr) en steps_momentum(lr, beta): begin by (1, 1) op die gestrekte bak, tel stappe tot die afstand tot die bodem onder 0.001 is (maks 20,000). Gee elk van hulle goeie instellings: plain descent by lr 0.039, net onder sy kap, en momentum by lr 0.06 met beta 0.6. Momentum moet ten minste 'n derde van die stappe nodig hê.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.