Programma Lezione 105 di 250 · Intuizione sulle reti neurali, LLM e progetto finale di IA
Intuizione sulle reti neurali, LLM e progetto finale di IA

Costruisci un motore autograd

Hai calcolato un gradiente a mano e l'hai controllato. Le reti reali hanno milioni di parametri, quindi non puoi ricavarli uno per uno a mano. Il trucco che rende possibile il deep learning è la differenziazione automatica: ogni valore ricorda come è stato calcolato, e i gradienti scorrono all'indietro lungo quella traccia da soli. Stai per costruire il motore, la stessa idea che c'è dentro PyTorch e dentro micrograd di Karpathy, in poche righe.

L'unità è un Value: un numero che salva anche il suo gradiente e una piccola funzione che sa come spingere il gradiente verso i suoi input. Quando sommi o moltiplichi due Value, il risultato registra i suoi genitori. L'impalcatura qui sotto ti dà __init__ e un backward() che percorre il grafo nell'ordine giusto (un ordinamento topologico, poi la regola della catena dall'uscita all'indietro). Tu implementi i due gradienti locali, che sono tutta la lezione:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

La somma copia semplicemente il gradiente in arrivo su entrambi gli input. La moltiplicazione è dove la regola della catena morde: d(a*b)/da = b e d(a*b)/db = a, ciascuno per il gradiente che arriva dall'alto (out.grad). Nota +=, non =: un valore usato in più punti accumula il gradiente da ciascuno.

Completa __add__ e __mul__ in modo che le loro closure _backward impostino i gradienti locali giusti. I test nascosti costruiscono espressioni, chiamano .backward(), e controllano ogni risultato contro una differenza finita, quindi una regola sbagliata non può passare. Premi Run per fare la retropropagazione attraverso a*b + a.

Tocca a te

Completa __add__ e __mul__ della classe Value in modo che la retropropagazione sia giusta. Nella _backward di __add__, aggiungi out.grad SIA a self.grad SIA a other.grad (derivata locale 1). Nella _backward di __mul__, aggiungi other.data * out.grad a self.grad e self.data * out.grad a other.grad (la regola del prodotto). Usa += così i valori riusati accumulano il gradiente. Il backward() fornito gestisce l'ordine.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.