Programma Les 70 van 246 · Module 5: Optimalisatie
Module 5: Optimalisatie

Adam: de bal plus de knoppen

Waarom dit ertoe doet Adam is de standaard optimizer voor de meeste deep learning. Het is momentum en RMSProp samen, plus een kleine correctie die veel belangrijk is aan het begin.

Tiny numbers first

Eén gewicht, beta1 = 0.9, beta2 = 0.999, lr = 0.1. De gradiënt bij stap 1 is 2.0. Het lopend gemiddelde van de gradiënten, m, begint bij 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Maar de ware recente gradiënt is 2, niet 0.2: m is bevooroordeeld naar de beginwaarde nul. Deel door (1 - 0.9 tot de macht t) om dit te herstellen: 0.2 / 0.1 = 2.0. Dezelfde correctie voor het gemiddelde van de kwadraten v: 0.004 / 0.001 = 4.0. Step = 0.1 * 2 / sqrt(4) = 0.1.

Zonder de correctie zou de eerste stap 0.1 * 0.2 / sqrt(0.004) = 0.32 zijn, meer dan drie keer te groot, en in een echt netwerk kunnen die wilde eerste stappen het begin van de training verpesten.

m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)

Biascorrectie: delen door (1 - beta tot de macht t) zodat gemiddelden die begonnen bij nul niet worden onderschat in vroege stappen. t telt stappen vanaf 1.

Woorden en symbolen in deze les
momentum (beta)
het behouden van een deel van de snelheid van de laatste stap
RMSProp
deele de stap van elk gewicht door hoe luid de gradiënt meestal is
Adam (m, v, t)
momentum (m) plus een per-gewicht volumeknop (v), gecorrigeerd voor vroege stappen (t)
Jij bent aan de beurt

Vul eerst first_step_with en first_step_without in: de grootte van stap 1 in het voorbeeld hierboven, met en zonder bias correctie. Schrijf daarna de klasse Adam(lr, b1=0.9, b2=0.999, eps=1e-8) met een methode step(p, g) die het bijgewerkte parameter array teruggeeft.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.