Conteúdo do curso Lição 100 de 250 · Intuição de Redes Neurais, LLMs e Conclusão de IA
Intuição de Redes Neurais, LLMs e Conclusão de IA

Uma Passagem Direta de Duas Camadas

Um neurônio é uma linha. Empilhe uma layer deles, adicione uma não linearidade, depois passe isso para outra camada, e a rede pode se curvar para se ajustar a quase tudo. Passar dados pelas camadas para obter uma saída é chamado de forward pass.

A camada

A é apenas uma multiplicação de matriz: cada coluna da matriz de pesos são os pesos de um neurônio. Com numpy, a camada inteira é x @ W + b (o operador @ é multiplicação de matriz).

Entre as camadas, aplicamos uma ativação não linear. Redes modernas favorecem ReLU (Rectified Linear Unit), que é simplesmente max(0, z): manter positivos, zerar negativos. Sem uma não linearidade, empilhar camadas colapsaria de volta para uma única linha.

import numpy as np

def relu(z):
    return np.maximum(0, z)

h = relu(x @ W1 + b1)   # hidden layer
out = h @ W2 + b2       # output layer

Por que fazemos isso no numpy aqui

Os frameworks reais para isso são TensorFlow e PyTorch. Eles não podem rodar nesta lição: Pyodide é CPython compilado para WebAssembly no seu navegador, e essas bibliotecas trazem código nativo C++ e CUDA/GPU pesado que não tem build em WebAssembly. Então nós obtemos a intuition com algumas linhas de numpy, que é exatamente o que um forward pass é por baixo do capô. Os frameworks adicionam autograd, GPUs e escala, não novas ideias sobre este passo.

Observe as formas: uma entrada de comprimento 3 através de uma matriz de pesos 3x4 dá 4 valores ocultos; através de uma matriz 4x1 que se torna uma única saída.

Sua vez

Termine o forward pass. Escreva relu(z) com np.maximum, depois calcule a hidden layer h = relu(x @ W1 + b1) e a output out = h @ W2 + b2 usando os pesos fornecidos.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.