Perché all'indietro costa poco (modalità inversa)
Perché è importante Una rete ha milioni di pesi. Se ogni gradiente richiedesse la propria passata, l'addestramento sarebbe impossibile. Andare all'indietro li ottiene tutti più o meno al prezzo di una passata in più.
Numeri piccolissimi
Prendi L = f3(f2(f1(x))) dove x ha 3 numeri e L è un numero. Andando in avanti con gli spostamenti, sposti un input, lo spingi attraverso tutti e tre i passi, e impari un gradiente. Tre input significano tre viaggi completi.
Andando all'indietro, parti da L, che è un numero, e spingi "quanto importa questo a L?" indietro attraverso f3, poi f2, poi f1. Un viaggio dà il gradiente per ogni input in una volta.
Con 3 input fai 1 viaggio invece di 3. Con un milione di pesi, 1 viaggio invece di un milione. Un viaggio all'indietro però non è gratis: costa circa da 2 a 3 passate in avanti, perché ogni passo deve moltiplicare per le sue pendenze locali. Quindi nel lavoro reale il risparmio è circa n / 3, che per un milione di pesi è comunque circa 300,000 volte. Per questo ogni libreria di deep learning lavora all'indietro.
Modalità inversa: calcolare i gradienti scorrendo dall'output indietro fino agli input. Il suo mattone si chiama prodotto vettore-Jacobiano; la prossima lezione lo smonta.
Riepilogo Un output, molti input: vai all'indietro.
Parole e simboli di questa lezione
- vettore
- una lista di numeri, uno per caratteristica
Compila i conteggi delle operazioni per una rete con n pesi e una loss. forward_trips(n): quante passate complete richiede il metodo che sposta ogni input (una passata spostata per peso; lascia fuori l'unica passata non spostata che faresti comunque). backward_trips(n): quante scansioni all'indietro richiede la modalità inversa. Poi imposta saving_for_a_million sul rapporto tra i viaggi (non tra il lavoro) per n = 1,000,000.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.