Costruisci un motore autograd
Hai calcolato un gradiente a mano e l'hai controllato. Le reti reali hanno milioni di parametri, quindi non puoi ricavarli uno per uno a mano. Il trucco che rende possibile il deep learning è la differenziazione automatica: ogni valore ricorda come è stato calcolato, e i gradienti scorrono all'indietro lungo quella traccia da soli. Stai per costruire il motore, la stessa idea che c'è dentro PyTorch e dentro micrograd di Karpathy, in poche righe.
L'unità è un Value: un numero che salva anche il suo gradiente e una piccola funzione che sa come spingere il gradiente verso i suoi input. Quando sommi o moltiplichi due Value, il risultato registra i suoi genitori. L'impalcatura qui sotto ti dà __init__ e un backward() che percorre il grafo nell'ordine giusto (un ordinamento topologico, poi la regola della catena dall'uscita all'indietro). Tu implementi i due gradienti locali, che sono tutta la lezione:
def __add__(self, other):
out = Value(self.data + other.data, (self, other))
def _backward():
self.grad += out.grad # d(a+b)/da = 1
other.grad += out.grad # d(a+b)/db = 1
out._backward = _backward
return outLa somma copia semplicemente il gradiente in arrivo su entrambi gli input. La moltiplicazione è dove la regola della catena morde: d(a*b)/da = b e d(a*b)/db = a, ciascuno per il gradiente che arriva dall'alto (out.grad). Nota +=, non =: un valore usato in più punti accumula il gradiente da ciascuno.
Completa __add__ e __mul__ in modo che le loro closure _backward impostino i gradienti locali giusti. I test nascosti costruiscono espressioni, chiamano .backward(), e controllano ogni risultato contro una differenza finita, quindi una regola sbagliata non può passare. Premi Run per fare la retropropagazione attraverso a*b + a.
Completa __add__ e __mul__ della classe Value in modo che la retropropagazione sia giusta. Nella _backward di __add__, aggiungi out.grad SIA a self.grad SIA a other.grad (derivata locale 1). Nella _backward di __mul__, aggiungi other.data * out.grad a self.grad e self.data * out.grad a other.grad (la regola del prodotto). Usa += così i valori riusati accumulano il gradiente. Il backward() fornito gestisce l'ordine.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.