Programma Lezione 73 di 246 · Modulo 5: Ottimizzazione
Modulo 5: Ottimizzazione

Trovare in fretta un learning rate, e tagliare i picchi

Perché è importante Tirare a indovinare i learning rate fa perdere giorni. Un'esecuzione breve te ne dice uno buono. E un solo batch cattivo può far esplodere un addestramento a meno che tu non limiti il passo.

Il test dell'intervallo

Addestra per qualche centinaio di passi alzando un po' il learning rate a ogni passo, da minuscolo a enorme, e registra la loss. All'inizio non succede niente; poi la loss scende in fretta; poi esplode. Un buon learning rate sta dove la loss scendeva più in fretta, un po' sotto l'esplosione. Una regola comune: prendi il tasso in cui la loss era più bassa e dividilo per 10.

Clipping

Se la dimensione totale del gradiente (la sua lunghezza, o norma) supera un limite, riduci tutto il gradiente a quella lunghezza. La direzione viene mantenuta; solo un raro passo enorme viene domato.

Norma del gradiente: la lunghezza di tutti i gradienti presi come un unico vettore lungo: la radice quadrata della somma dei loro quadrati.

Parole e simboli di questa lezione
norma del gradiente, clipping
la dimensione totale del gradiente, e il limitarla
Tocca a te

Scrivi pick_lr(lrs, losses): il learning rate in cui la loss era più bassa, diviso per 10. E clip(grads, max_norm): grads è una lista di array; se la loro norma combinata supera max_norm, restituiscili tutti riscalati così che la norma valga max_norm, altrimenti restituiscili invariati.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.