Conteúdo do curso Lição 101 de 250 · Intuição de Redes Neurais, LLMs e Conclusão de IA
Intuição de Redes Neurais, LLMs e Conclusão de IA

Como os Modelos Aprendem

Uma rede

A nova tem pesos aleatórios e é inútil. Training é o processo de ajustar esses pesos até que a saída fique boa. Duas ideias guiam isso.

1. Uma loss function mede o erro

Você precisa de um número único que diga o quão ruins são as previsões. Para regressão, o padrão é mean squared error (MSE): tire a média dos quadrados das diferenças entre a verdade e a previsão.

def mse(y_true, y_pred):
    diffs = np.asarray(y_true) - np.asarray(y_pred)
    return float(np.mean(diffs ** 2))

O elevar ao quadrado pune erros grandes com mais força e mantém tudo positivo. Uma perda menor é melhor; perda zero significa um ajuste perfeito.

2. O gradiente descendente rola para baixo

Imagine a perda como uma superfície acidentada e os pesos como sua posição nela. O gradient é a inclinação: ele aponta para cima, em direção a mais perda. Então para reduzir a perda, você dá um pequeno passo na direção opposite.

w = w - learning_rate * gradient

A learning rate é o tamanho do passo. Repita isso milhares de vezes e os weights descem em direção a um vale de baixo loss. Esse loop é tudo o que o treinamento é.

Para um modelo de brinquedo y = w * x com MSE, o gradiente da perda em relação a w resulta em mean(2 * (w*x - y) * x). Você dará exatamente um passo e verá a perda cair.

De um peso para uma rede inteira

A rede de duas camadas que você construiu na última lição tem muitos pesos, não apenas um. Treiná-la significa encontrar o gradiente da perda em relação a cada peso, camada por camada. Isso é backpropagation: comece na perda e aplique a regra da cadeia para trás através de cada camada para obter a inclinação de cada peso, depois dê o mesmo passo para baixo em todos eles de uma vez. A aritmética é mais pesada, mas a ideia é idêntica ao passo único que você dá abaixo. Em código real você nunca deriva isso manualmente: frameworks como PyTorch registram a passagem direta e uma loss.backward() chamada calcula cada gradiente para você. Fazemos a versão de um peso aqui para que o mecanismo continue concreto.

Sua vez

Implemente mse(y_true, y_pred) (média das diferenças ao quadrado). Depois, para o modelo de brinquedo y = w * x, calcule loss_before, dê um passo de gradient-descent usando grad = np.mean(2 * (w*x - y) * x) e w = w - lr * grad, e então calcule loss_after. A perda deve diminuir.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.