Construa um motor de Autograd
Você calculou um gradiente manualmente e fez o gradient-check. Redes reais têm milhões de parâmetros, então você não pode derivar cada um à mão. O truque que torna o deep learning possível é automatic differentiation: cada valor lembra como foi calculado, e os gradientes fluem para trás através desse registro automaticamente. Você está prestes a construir o motor, a mesma ideia dentro do PyTorch e do micrograd do Karpathy, em poucas linhas.
A unidade é um Value: um número que também armazena seu gradiente e uma função minúscula que sabe como empurrar o gradiente para suas entradas. Quando você soma ou multiplica dois Values, o resultado registra seus pais. O andaime abaixo te dá um __init__ e um backward() que percorre o grafo na ordem certa (uma ordenação topológica, depois regra da cadeia da saída para trás). Você implementa os dois gradientes locais, que é a lição inteira:
def __add__(self, other):
out = Value(self.data + other.data, (self, other))
def _backward():
self.grad += out.grad # d(a+b)/da = 1
other.grad += out.grad # d(a+b)/db = 1
out._backward = _backward
return outAdição apenas copia o gradiente de entrada para ambas as entradas. Multiplicação é onde a regra da cadeia morde: d(a*b)/da = b e d(a*b)/db = a, cada um multiplica o gradiente que flui de cima (out.grad). Note +=, não =: um valor usado em vários lugares acumula gradiente de cada um.
Complete __add__ e __mul__ para que suas _backward closures definam os gradientes locais corretos. Os testes ocultos constroem expressões, chamam .backward() e gradient-check cada resultado contra uma diferença finita, então uma regra errada não pode passar. Pressione Run para fazer o backprop através de a*b + a.
Complete a __add__ e __mul__ da classe Value para que o backprop esteja correto. Na _backward da __add__, adicione out.grad em AMBOS self.grad e other.grad (derivada local 1). Na _backward da __mul__, adicione other.data * out.grad a self.grad e self.data * out.grad a other.grad (a regra do produto). Use += para que valores reutilizados acumulem o gradiente. A backward() fornecida cuida da ordenação.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.