Kurrikulum Leson 69 van 246 · Module 5: Optimisering
Module 5: Optimisering

'n Volume-knoppie per gewig (RMSProp)

Hoekom dit saak maak Momentum maak die rigting glad. RMSProp los die ander probleem op: sommige gewigte kry enorme gradiënte en ander klein gewigte, so een leertempo kan nie almal pas nie.

RMSProp hou vir elke gewig 'n lopende gemiddelde van sy gekwadrateerde gradiënt: hoe hard daardie gewig se gradiënt gewoonlik is. Dan deel dit elke stap deur die vierkantswortel daarvan, soos om die volume op harde gewigte te verlaag en op stille gewigte te verhoog.

s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)

Op die gestrekte bak het die steil rigting harde gradiënte en word afgedraai, die sagte rigting word opgedraai, en die bak optree amper asof dit rond is. Dit werk hier omdat die bak se steil en sagte rigtings ooreenstem met die twee gewigte. Kantel die vallei 45 grade, sodat elke gewig 'n mengsel van beide rigtings sien, en 'n volume-knoppie per gewig kan hulle nie skei nie: RMSProp en Adam help dan baie minder. Hulle skaal oor volgens hoe hard elke gewig se gradient is, nie volgens die ware vorm van die vallei nie.

eps: 'n klein getal soos 1e-8 wat deling deur nul stop.

Woorde en simbole in hierdie les
momentum (beta)
hou deel van die vorige stap se velocity
RMSProp
deel elke gewig se stap deur hoe hard sy gradiënt gewoonlik is
Adam (m, v, t)
momentum (m) plus 'n per-gewig volume-knoppie (v), reggemaak vir vroeë stappe (t)
Jou beurt

Skryf rmsprop(grad, start, lr, rho, steps, eps=1e-8) wat die finale posisie teruggee. Die verborge toets vergelyk jou posisie met die verwysing na 'n paar stappe.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.