Temario Lección 105 de 250 · Intuición de redes neuronales, LLM y proyecto final de IA
Intuición de redes neuronales, LLM y proyecto final de IA

Construye un motor de autograd

Calculaste un gradiente a mano y lo comprobaste. Las redes reales tienen millones de parámetros, así que no puedes derivar cada uno a mano. El truco que hace posible el aprendizaje profundo es la diferenciación automática: cada valor recuerda cómo se calculó, y los gradientes fluyen hacia atrás por ese registro de forma automática. Estás a punto de construir el motor, la misma idea que hay dentro de PyTorch y del micrograd de Karpathy, en unas pocas líneas.

La unidad es un Value: un número que además guarda su gradiente y una pequeña función que sabe cómo pasar el gradiente a sus entradas. Cuando sumas o multiplicas dos Value, el resultado registra a sus padres. El andamiaje de abajo te da __init__ y un backward() que recorre el grafo en el orden correcto (una ordenación topológica, y luego la regla de la cadena desde la salida hacia atrás). Tú implementas los dos gradientes locales, que es toda la lección:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

La suma simplemente copia el gradiente que llega a las dos entradas. La multiplicación es donde muerde la regla de la cadena: d(a*b)/da = b y d(a*b)/db = a, cada uno por el gradiente que llega de arriba (out.grad). Fíjate en el +=, no =: un valor que se usa en varios sitios acumula el gradiente de cada uno.

Completa __add__ y __mul__ para que sus clausuras _backward pongan los gradientes locales correctos. Las pruebas ocultas construyen expresiones, llaman a .backward() y comprueban cada resultado con una diferencia finita, así que una regla equivocada no puede pasar. Pulsa Ejecutar para retropropagar a través de a*b + a.

Tu turno

Completa __add__ y __mul__ de la clase Value para que la retropropagación sea correcta. En el _backward de __add__, suma out.grad TANTO a self.grad como a other.grad (derivada local 1). En el _backward de __mul__, suma other.data * out.grad a self.grad y self.data * out.grad a other.grad (la regla del producto). Usa += para que los valores reutilizados acumulen gradiente. El backward() que te damos se encarga del orden.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.