Kurrikulum Leson 72 van 246 · Module 5: Optimisering
Module 5: Optimisering

Opwarming en kosinus-skedules

Hoekom dit saak maak Die beste learning rate is nie dieselfde oor die hele opleiding nie. Groot modelle word amper altyd met 'n skedule opgelei: 'n sagte begin, 'n lang hoë middel, en 'n stadige landing.

Sien dit

Speel die animasi af. Warmup: die tempo styg in 'n reguit lyn van naby nul tot by sy piek oor die eerste paar honderd stappe, omdat die gradiënte aan die begin groot en onbetroubaar is. Cosine decay: daarna skuif dit af langs 'n half kosinusgolf tot by 'n klein vloer, sodat laat opleiding klein versigtige stappe neem en in 'n goeie plek gaan sak.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

Opsomming Versnel, cruise, gly af.

Woorde en simbole in hierdie les
opwarming, cosine
begin die learning rate klein, dan laat dit teen 'n cosine afgly
Jou beurt

Skryf lr_at(step, total, warmup, peak, floor) volgens die formules hierbo (stappe tel vanaf 0).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.