Trovare in fretta un learning rate, e tagliare i picchi
Perché è importante Tirare a indovinare i learning rate fa perdere giorni. Un'esecuzione breve te ne dice uno buono. E un solo batch cattivo può far esplodere un addestramento a meno che tu non limiti il passo.
Il test dell'intervallo
Addestra per qualche centinaio di passi alzando un po' il learning rate a ogni passo, da minuscolo a enorme, e registra la loss. All'inizio non succede niente; poi la loss scende in fretta; poi esplode. Un buon learning rate sta dove la loss scendeva più in fretta, un po' sotto l'esplosione. Una regola comune: prendi il tasso in cui la loss era più bassa e dividilo per 10.
Clipping
Se la dimensione totale del gradiente (la sua lunghezza, o norma) supera un limite, riduci tutto il gradiente a quella lunghezza. La direzione viene mantenuta; solo un raro passo enorme viene domato.
Norma del gradiente: la lunghezza di tutti i gradienti presi come un unico vettore lungo: la radice quadrata della somma dei loro quadrati.
Parole e simboli di questa lezione
- norma del gradiente, clipping
- la dimensione totale del gradiente, e il limitarla
Scrivi pick_lr(lrs, losses): il learning rate in cui la loss era più bassa, diviso per 10. E clip(grads, max_norm): grads è una lista di array; se la loro norma combinata supera max_norm, restituiscili tutti riscalati così che la norma valga max_norm, altrimenti restituiscili invariati.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.