Kurrikulum Leson 64 van 246 · Module 5: Optimisering
Module 5: Optimisering

Verliesvlakke wat jy kan stap

Waarom dit saak maak Elke optimiser is 'n verskillende manier om teen 'n landskap wat jy nie kan sien nie af te stap. Stap eers 'n eenvoudige een.

Verbeel die verlies as 'n landskap: twee gewigte is jou posisie op 'n kaart, en die verlies is die hoogte. Opvoed is om berg af te stap. Die gradiënt wys berg op, so elke stap gaan die teenoorgestelde pad: position = position - lr * gradient.

Klein getalle

Op die bak f(x, y) = x squared + y squared, is die gradiënt by (3, 4) (6, 8). Met lr 0.1 gaan die stap na (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Elke stap behou 80% van die afstand tot die bodem, so na 20 stappe is jy by ongeveer 1% van waar jy begin het.

Leerkoers: hoe ver om te stap relatief tot die gradiënt. Te klein kruip; te groot oorskiet.

Opsomming Stap teen die gradiënt; die learning rate bepaal die stapgrootte.

Jou beurt

Skryf descend(grad, start, lr, steps) wat die lys van besoekte posisies (begin ingesluit) as NumPy arrays teruggee. Kies dan my_lr sodat jy, op die bak van die les, beginnend by (3, 4), binne 0.01 van die bodem is in maksimum 15 stappe.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.