Una pasada hacia delante de dos capas
Una neurona es una línea. Apila una capa de ellas, añade una no linealidad, pásalo a otra capa, y la red puede curvarse para ajustarse a casi cualquier cosa. Pasar los datos por las capas para obtener una salida se llama pasada hacia delante (forward pass).
Una capa no es más que una multiplicación de matrices: cada columna de la matriz de pesos son los pesos de una neurona. Con numpy, toda la capa es x @ W + b (el operador @ es la multiplicación de matrices).
Entre capas aplicamos una activación no lineal. Las redes modernas prefieren ReLU (Rectified Linear Unit, unidad lineal rectificada), que es simplemente max(0, z): conserva los positivos y pone a cero los negativos. Sin una no linealidad, apilar capas se volvería a reducir a una sola línea.
import numpy as np
def relu(z):
return np.maximum(0, z)
h = relu(x @ W1 + b1) # hidden layer
out = h @ W2 + b2 # output layerPor qué lo hacemos aquí con numpy
Los frameworks reales para esto son TensorFlow y PyTorch. No pueden funcionar en esta lección: Pyodide es CPython compilado a WebAssembly en tu navegador, y esas bibliotecas traen mucho código nativo de C++ y de CUDA/GPU que no tiene versión para WebAssembly. Así que conseguimos la intuición con unas pocas líneas de numpy, que es exactamente lo que es una pasada hacia delante por dentro. Los frameworks añaden autograd, GPU y escala, no ideas nuevas sobre este paso.
Fíjate en las formas: una entrada de longitud 3 a través de una matriz de pesos de 3x4 da 4 valores ocultos; a través de una matriz de 4x1 eso se convierte en una sola salida.
Termina la pasada hacia delante. Escribe relu(z) con np.maximum, y luego calcula la capa oculta h = relu(x @ W1 + b1) y la salida out = h @ W2 + b2 con los pesos que te damos.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.