Kurrikulum Leson 65 van 246 · Module 5: Optimisering
Module 5: Optimisering

Waarom 'n gestrekte bak stadig is (conditioning)

Waarom dit saak maak Ware verlieslandskappe is steil in sommige rigtings en amper plat in ander. Daardie wanreg, nie die aantal gewigte nie, is wat eenvoudige gradient descent stadig maak.

Sien dit

Neem f = (k x squared + y squared) / 2. Met k = 1 is dit 'n ronde bak. Met k = 100 is dit 'n lang dun vallei: steil oor, sag langs. Die learning rate moet beide rigtings gelyktydig pas. Die beste enkelkeuse, lr = 2 / (k + 1), laat elke stap (k - 1) / (k + 1) van die afstand in beide rigtings behou: 0.98 daarvan wanneer k = 100. Enig huller en die steil rigting skuut oor en vest stadiger (bo 2 / k groei dit sonder limiet); enig kleiner en die sagte rigting kruip selfs stadiger. Die stap skuif dus in zigzag oor die vallei terwyl dit langs dit kruip.

Toestandsgetal: die verhouding van die steilste tot die flakkersste kromming, hier k. Gewone gradiëntdaal benodig ongeveer k stappe om goeie vordering te maak.

Voorspel die kurwe: voordat jy dit hardloop, voorspel hoeveel stappe dit neem om binne 0.001 van die bodem te kom vir k = 1, 10 en 100, deur die beste vaste leertempo te gebruik, 2 / (k + 1).

Opsomming Strek vertraag die eenvoudige daal in verhouding tot die strek.

Woorde en simbole in hierdie les
toestandsgetal
hoeveel steiler die steilste rigting is as die flakkieste
Jou beurt

Vul my_guess (drie stap-tellings) in, dan skryf steps_to_converge(k): begin by (1, 1), gebruik lr = 2 / (k + 1), en tel stappe tot die afstand tot (0, 0) onder 0.001 is (stop by 100,000).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.