Kurrikulum Leson 73 van 246 · Module 5: Optimisering
Module 5: Optimisering

Vind vinnig 'n learning rate, en beperk pieke

Hoekom dit saak maak Om leerkoerse te raai mors dae. Een kort run vertel jou 'n goeie een. En een slegte batch kan 'n run laat ontplof tensy jy die stap beperk.

Die reeks-toets

Train vir 'n paar honderd stappe terwyl jy die learning rate 'n bietjie elke stap verhoog, van klein tot groot, en rekordeer die loss. Aan die begin gebeur niks nie; dan daal die loss vinnig; dan ontplof dit. 'n Goeie learning rate sit waar die loss die vinnigste daal het, 'n bietjie onder die ontploffing. 'n Algemene reël: neem die rate waar die loss die laagste was en deel dit deur 10.

Clipping

As die totale grootte van die gradient (sy lengte, of norm) bo 'n limiet is, skaal die hele gradient af na daardie lengte. Die rigting bly dieselfde; net 'n seldsame reuse stap word getem.

Gradient norm: die lengte van alle gradiënte wat as een lang vektor beskou word: die vierkantswortel van die som van hulle kwadrate.

Woorde en simbole in hierdie les
gradient norm, clipping
die totale grootte van die gradient, en om dit te beperk
Jou beurt

Skryf pick_lr(lrs, losses): die leertempo waar die verlies die laagste was, gedeel deur 10. En clip(grads, max_norm): grads is 'n lys van arrays; as hul gekombineerde norm bo max_norm is, gee hulle almal terug geskaal sodat die norm gelyk aan max_norm is, anders gee hulle onveranderd terug.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.