Adam: die bal plus die knoppies
Waarom dit saak maak Adam is die standaard optimiseerder vir die meeste diep leer. Dit is momentum en RMSProp saam met een klein korreksie wat baie saak maak aan die begin.
Klein getalle eerste
Een gewig, beta1 = 0.9, beta2 = 0.999, lr = 0.1. Gradiënt by stap 1 is 2.0. Die lopende gemiddelde van gradiënte, m, begin by 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Maar die ware onlangse gradiënt is 2, nie 0.2 nie: m is bevoordeel na sy beginnul. Deel deur (1 - 0.9 tot die mag van t) om dit reg te stel: 0.2 / 0.1 = 2.0. Dieselfde korreksie vir die gekwadrateerde gemiddelde v: 0.004 / 0.001 = 4.0. Step = 0.1 * 2 / sqrt(4) = 0.1.
Sonder die korreksie sou die eerste stap 0.1 * 0.2 / sqrt(0.004) = 0.32 wees. Dit is meer as drie keer te groot. In 'n regte netwerk kan daardie wilde eerste stappe die begin van die training vernietig.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
Bias-korreksie: deel deur (1 - beta tot die macht t) sodat gemiddeltes wat by nul begin het nie in vroeë stappe onderskat word nie. t tel stappe vanaf 1.
Woorde en simbole in hierdie les
- momentum (beta)
- hou deel van die vorige stap se velocity
- RMSProp
- deel elke gewig se stap deur hoe hard die gradiënt gewoonlik is
- Adam (m, v, t)
- momentum (m) plus 'n per-gewig volume-knoppie (v), gekorrigeer vir vroeë stappe (t)
Vul eers first_step_with en first_step_without in: die grootte van stap 1 in die voorbeeld bo, met en sonder bias-korreksie. Skryf dan die klas Adam(lr, b1=0.9, b2=0.999, eps=1e-8) met 'n metode step(p, g) wat die opgedateerde parameter-array teruggee.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.