Como os Modelos Aprendem
A nova tem pesos aleatórios e é inútil. Training é o processo de ajustar esses pesos até que a saída fique boa. Duas ideias guiam isso.
1. Uma loss function mede o erro
Você precisa de um número único que diga o quão ruins são as previsões. Para regressão, o padrão é mean squared error (MSE): tire a média dos quadrados das diferenças entre a verdade e a previsão.
def mse(y_true, y_pred):
diffs = np.asarray(y_true) - np.asarray(y_pred)
return float(np.mean(diffs ** 2))O elevar ao quadrado pune erros grandes com mais força e mantém tudo positivo. Uma perda menor é melhor; perda zero significa um ajuste perfeito.
2. O gradiente descendente rola para baixo
Imagine a perda como uma superfície acidentada e os pesos como sua posição nela. O gradient é a inclinação: ele aponta para cima, em direção a mais perda. Então para reduzir a perda, você dá um pequeno passo na direção opposite.
w = w - learning_rate * gradientA learning rate é o tamanho do passo. Repita isso milhares de vezes e os weights descem em direção a um vale de baixo loss. Esse loop é tudo o que o treinamento é.
Para um modelo de brinquedo y = w * x com MSE, o gradiente da perda em relação a w resulta em mean(2 * (w*x - y) * x). Você dará exatamente um passo e verá a perda cair.
De um peso para uma rede inteira
A rede de duas camadas que você construiu na última lição tem muitos pesos, não apenas um. Treiná-la significa encontrar o gradiente da perda em relação a cada peso, camada por camada. Isso é backpropagation: comece na perda e aplique a regra da cadeia para trás através de cada camada para obter a inclinação de cada peso, depois dê o mesmo passo para baixo em todos eles de uma vez. A aritmética é mais pesada, mas a ideia é idêntica ao passo único que você dá abaixo. Em código real você nunca deriva isso manualmente: frameworks como PyTorch registram a passagem direta e uma loss.backward() chamada calcula cada gradiente para você. Fazemos a versão de um peso aqui para que o mecanismo continue concreto.
Implemente mse(y_true, y_pred) (média das diferenças ao quadrado). Depois, para o modelo de brinquedo y = w * x, calcule loss_before, dê um passo de gradient-descent usando grad = np.mean(2 * (w*x - y) * x) e w = w - lr * grad, e então calcule loss_after. A perda deve diminuir.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.