Construye un motor de autograd
Calculaste un gradiente a mano y lo comprobaste. Las redes reales tienen millones de parámetros, así que no puedes derivar cada uno a mano. El truco que hace posible el aprendizaje profundo es la diferenciación automática: cada valor recuerda cómo se calculó, y los gradientes fluyen hacia atrás por ese registro de forma automática. Estás a punto de construir el motor, la misma idea que hay dentro de PyTorch y del micrograd de Karpathy, en unas pocas líneas.
La unidad es un Value: un número que además guarda su gradiente y una pequeña función que sabe cómo pasar el gradiente a sus entradas. Cuando sumas o multiplicas dos Value, el resultado registra a sus padres. El andamiaje de abajo te da __init__ y un backward() que recorre el grafo en el orden correcto (una ordenación topológica, y luego la regla de la cadena desde la salida hacia atrás). Tú implementas los dos gradientes locales, que es toda la lección:
def __add__(self, other):
out = Value(self.data + other.data, (self, other))
def _backward():
self.grad += out.grad # d(a+b)/da = 1
other.grad += out.grad # d(a+b)/db = 1
out._backward = _backward
return outLa suma simplemente copia el gradiente que llega a las dos entradas. La multiplicación es donde muerde la regla de la cadena: d(a*b)/da = b y d(a*b)/db = a, cada uno por el gradiente que llega de arriba (out.grad). Fíjate en el +=, no =: un valor que se usa en varios sitios acumula el gradiente de cada uno.
Completa __add__ y __mul__ para que sus clausuras _backward pongan los gradientes locales correctos. Las pruebas ocultas construyen expresiones, llaman a .backward() y comprueban cada resultado con una diferencia finita, así que una regla equivocada no puede pasar. Pulsa Ejecutar para retropropagar a través de a*b + a.
Completa __add__ y __mul__ de la clase Value para que la retropropagación sea correcta. En el _backward de __add__, suma out.grad TANTO a self.grad como a other.grad (derivada local 1). En el _backward de __mul__, suma other.data * out.grad a self.grad y self.data * out.grad a other.grad (la regla del producto). Usa += para que los valores reutilizados acumulen gradiente. El backward() que te damos se encarga del orden.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.