Conteúdo do curso Lição 105 de 250 · Intuição de Redes Neurais, LLMs e Conclusão de IA
Intuição de Redes Neurais, LLMs e Conclusão de IA

Construa um motor de Autograd

Você calculou um gradiente manualmente e fez o gradient-check. Redes reais têm milhões de parâmetros, então você não pode derivar cada um à mão. O truque que torna o deep learning possível é automatic differentiation: cada valor lembra como foi calculado, e os gradientes fluem para trás através desse registro automaticamente. Você está prestes a construir o motor, a mesma ideia dentro do PyTorch e do micrograd do Karpathy, em poucas linhas.

A unidade é um Value: um número que também armazena seu gradiente e uma função minúscula que sabe como empurrar o gradiente para suas entradas. Quando você soma ou multiplica dois Values, o resultado registra seus pais. O andaime abaixo te dá um __init__ e um backward() que percorre o grafo na ordem certa (uma ordenação topológica, depois regra da cadeia da saída para trás). Você implementa os dois gradientes locais, que é a lição inteira:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

Adição apenas copia o gradiente de entrada para ambas as entradas. Multiplicação é onde a regra da cadeia morde: d(a*b)/da = b e d(a*b)/db = a, cada um multiplica o gradiente que flui de cima (out.grad). Note +=, não =: um valor usado em vários lugares acumula gradiente de cada um.

Complete __add__ e __mul__ para que suas _backward closures definam os gradientes locais corretos. Os testes ocultos constroem expressões, chamam .backward() e gradient-check cada resultado contra uma diferença finita, então uma regra errada não pode passar. Pressione Run para fazer o backprop através de a*b + a.

Sua vez

Complete a __add__ e __mul__ da classe Value para que o backprop esteja correto. Na _backward da __add__, adicione out.grad em AMBOS self.grad e other.grad (derivada local 1). Na _backward da __mul__, adicione other.data * out.grad a self.grad e self.data * out.grad a other.grad (a regra do produto). Use += para que valores reutilizados acumulem o gradiente. A backward() fornecida cuida da ordenação.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.