Temario Lección 100 de 250 · Intuición de redes neuronales, LLM y proyecto final de IA
Intuición de redes neuronales, LLM y proyecto final de IA

Una pasada hacia delante de dos capas

Una neurona es una línea. Apila una capa de ellas, añade una no linealidad, pásalo a otra capa, y la red puede curvarse para ajustarse a casi cualquier cosa. Pasar los datos por las capas para obtener una salida se llama pasada hacia delante (forward pass).

Una capa no es más que una multiplicación de matrices: cada columna de la matriz de pesos son los pesos de una neurona. Con numpy, toda la capa es x @ W + b (el operador @ es la multiplicación de matrices).

Entre capas aplicamos una activación no lineal. Las redes modernas prefieren ReLU (Rectified Linear Unit, unidad lineal rectificada), que es simplemente max(0, z): conserva los positivos y pone a cero los negativos. Sin una no linealidad, apilar capas se volvería a reducir a una sola línea.

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

Por qué lo hacemos aquí con numpy

Los frameworks reales para esto son TensorFlow y PyTorch. No pueden funcionar en esta lección: Pyodide es CPython compilado a WebAssembly en tu navegador, y esas bibliotecas traen mucho código nativo de C++ y de CUDA/GPU que no tiene versión para WebAssembly. Así que conseguimos la intuición con unas pocas líneas de numpy, que es exactamente lo que es una pasada hacia delante por dentro. Los frameworks añaden autograd, GPU y escala, no ideas nuevas sobre este paso.

Fíjate en las formas: una entrada de longitud 3 a través de una matriz de pesos de 3x4 da 4 valores ocultos; a través de una matriz de 4x1 eso se convierte en una sola salida.

Tu turno

Termina la pasada hacia delante. Escribe relu(z) con np.maximum, y luego calcula la capa oculta h = relu(x @ W1 + b1) y la salida out = h @ W2 + b2 con los pesos que te damos.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.