Een volumeknop per gewicht (RMSProp)
Waarom dit ertoe doet Momentum vlakt de richting af. RMSProp lost het andere probleem op: sommige weights krijgen enorme gradients en andere hele kleine, dus één learning rate kan niet voor iedereen passen.
RMSProp houdt voor elk gewicht een lopend gemiddelde bij van de gekwadrateerde gradiënt: hoe luid de gradiënt van dat gewicht meestal is. Daarna deelt het elke stap door de wortel van dat gemiddelde, alsof het het volume van luide gewichten omlaag draait en van stille gewichten omhoog.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
Op de uitgerekte kom heeft de steile richting grote gradiënten en wordt naar beneden gedraaid, de milde richting wordt naar boven gedraaid, en de kom gedraagt zich bijna alsof hij rond is. Dat werkt hier omdat de steile en milde richtingen van de kom overeenkomen met de twee gewichten. Kantel de vallei 45 graden, zodat elk gewicht een mix van beide richtingen ziet, en een volumeknop per gewicht kan ze niet scheiden: RMSProp en Adam helpen dan veel minder. Ze schalen opnieuw op basis van hoe luid de gradiënt van elk gewicht is, niet op basis van de ware vorm van de vallei.
eps: een klein getal zoals 1e-8 dat deling door nul voorkomt.
Woorden en symbolen in deze les
- momentum (beta)
- het behouden van een deel van de snelheid van de laatste stap
- RMSProp
- deele elke stap van een gewicht door hoe luid zijn gradiënt meestal is
- Adam (m, v, t)
- momentum (m) plus een per-gewicht volumeknop (v), gecorrigeerd voor vroege stappen (t)
Schrijf rmsprop(grad, start, lr, rho, steps, eps=1e-8) en geef de uiteindelijke positie terug. De verborgen test vergelijkt je positie met de referentie na een paar stappen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.