Verliesvlakke wat jy kan stap
Waarom dit saak maak Elke optimiser is 'n verskillende manier om teen 'n landskap wat jy nie kan sien nie af te stap. Stap eers 'n eenvoudige een.
Verbeel die verlies as 'n landskap: twee gewigte is jou posisie op 'n kaart, en die verlies is die hoogte. Opvoed is om berg af te stap. Die gradiënt wys berg op, so elke stap gaan die teenoorgestelde pad: position = position - lr * gradient.
Klein getalle
Op die bak f(x, y) = x squared + y squared, is die gradiënt by (3, 4) (6, 8). Met lr 0.1 gaan die stap na (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Elke stap behou 80% van die afstand tot die bodem, so na 20 stappe is jy by ongeveer 1% van waar jy begin het.
Leerkoers: hoe ver om te stap relatief tot die gradiënt. Te klein kruip; te groot oorskiet.
Opsomming Stap teen die gradiënt; die learning rate bepaal die stapgrootte.
Skryf descend(grad, start, lr, steps) wat die lys van besoekte posisies (begin ingesluit) as NumPy arrays teruggee. Kies dan my_lr sodat jy, op die bak van die les, beginnend by (3, 4), binne 0.01 van die bodem is in maksimum 15 stappe.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.