Adam: la palla più le manopole
Perché è importante Adam è l'ottimizzatore predefinito per gran parte del deep learning. È momentum e RMSProp insieme, più una piccola correzione che all'inizio conta molto.
Prima i numeri piccolissimi
Un peso, beta1 = 0.9, beta2 = 0.999, lr = 0.1. Il gradiente al passo 1 è 2.0. La media progressiva dei gradienti, m, parte da 0: m = 0.9 * 0 + 0.1 * 2 = 0.2. Ma il vero gradiente recente è 2, non 0.2: m è sbilanciato verso il suo zero di partenza. Dividi per (1 - 0.9 alla potenza t) per correggerlo: 0.2 / 0.1 = 2.0. La stessa correzione per la media dei quadrati v: 0.004 / 0.001 = 4.0. Passo = 0.1 * 2 / sqrt(4) = 0.1.
Senza la correzione il primo passo sarebbe 0.1 * 0.2 / sqrt(0.004) = 0.32, più di tre volte troppo grande, e in una rete vera quei primi passi selvaggi possono rovinare l'inizio dell'addestramento.
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
Correzione del bias: dividere per (1 - beta alla t) così le medie partite da zero non vengono sottostimate nei primi passi. t conta i passi da 1.
Parole e simboli di questa lezione
- momentum (beta)
- tenere parte della velocità dell'ultimo passo
- RMSProp
- dividere il passo di ogni peso per quanto è di solito forte il suo gradiente
- Adam (m, v, t)
- momentum (m) più una manopola del volume per peso (v), corretti per i primi passi (t)
Prima compila first_step_with e first_step_without: la dimensione del passo 1 nell'esempio qui sopra, con e senza correzione del bias. Poi scrivi la classe Adam(lr, b1=0.9, b2=0.999, eps=1e-8) con un metodo step(p, g) che restituisce l'array del parametro aggiornato.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.