Kurrikulum Leson 70 van 246 · Module 5: Optimisering
Module 5: Optimisering

Adam: die bal plus die knoppies

Waarom dit saak maak Adam is die standaard optimiseerder vir die meeste diep leer. Dit is momentum en RMSProp saam met een klein korreksie wat baie saak maak aan die begin.

Klein getalle eerste

Een gewig, beta1 = 0.9, beta2 = 0.999, lr = 0.1. Gradiënt by stap 1 is 2.0. Die lopende gemiddelde van gradiënte, m, begin by 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Maar die ware onlangse gradiënt is 2, nie 0.2 nie: m is bevoordeel na sy beginnul. Deel deur (1 - 0.9 tot die mag van t) om dit reg te stel: 0.2 / 0.1 = 2.0. Dieselfde korreksie vir die gekwadrateerde gemiddelde v: 0.004 / 0.001 = 4.0. Step = 0.1 * 2 / sqrt(4) = 0.1.

Sonder die korreksie sou die eerste stap 0.1 * 0.2 / sqrt(0.004) = 0.32 wees. Dit is meer as drie keer te groot. In 'n regte netwerk kan daardie wilde eerste stappe die begin van die training vernietig.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

Bias-korreksie: deel deur (1 - beta tot die macht t) sodat gemiddeltes wat by nul begin het nie in vroeë stappe onderskat word nie. t tel stappe vanaf 1.

Woorde en simbole in hierdie les
momentum (beta)
hou deel van die vorige stap se velocity
RMSProp
deel elke gewig se stap deur hoe hard die gradiënt gewoonlik is
Adam (m, v, t)
momentum (m) plus 'n per-gewig volume-knoppie (v), gekorrigeer vir vroeë stappe (t)
Jou beurt

Vul eers first_step_with en first_step_without in: die grootte van stap 1 in die voorbeeld bo, met en sonder bias-korreksie. Skryf dan die klas Adam(lr, b1=0.9, b2=0.999, eps=1e-8) met 'n metode step(p, g) wat die opgedateerde parameter-array teruggee.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.