'n Volume-knoppie per gewig (RMSProp)
Hoekom dit saak maak Momentum maak die rigting glad. RMSProp los die ander probleem op: sommige gewigte kry enorme gradiënte en ander klein gewigte, so een leertempo kan nie almal pas nie.
RMSProp hou vir elke gewig 'n lopende gemiddelde van sy gekwadrateerde gradiënt: hoe hard daardie gewig se gradiënt gewoonlik is. Dan deel dit elke stap deur die vierkantswortel daarvan, soos om die volume op harde gewigte te verlaag en op stille gewigte te verhoog.
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
Op die gestrekte bak het die steil rigting harde gradiënte en word afgedraai, die sagte rigting word opgedraai, en die bak optree amper asof dit rond is. Dit werk hier omdat die bak se steil en sagte rigtings ooreenstem met die twee gewigte. Kantel die vallei 45 grade, sodat elke gewig 'n mengsel van beide rigtings sien, en 'n volume-knoppie per gewig kan hulle nie skei nie: RMSProp en Adam help dan baie minder. Hulle skaal oor volgens hoe hard elke gewig se gradient is, nie volgens die ware vorm van die vallei nie.
eps: 'n klein getal soos 1e-8 wat deling deur nul stop.
Woorde en simbole in hierdie les
- momentum (beta)
- hou deel van die vorige stap se velocity
- RMSProp
- deel elke gewig se stap deur hoe hard sy gradiënt gewoonlik is
- Adam (m, v, t)
- momentum (m) plus 'n per-gewig volume-knoppie (v), reggemaak vir vroeë stappe (t)
Skryf rmsprop(grad, start, lr, rho, steps, eps=1e-8) wat die finale posisie teruggee. Die verborge toets vergelyk jou posisie met die verwysing na 'n paar stappe.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.