Conteúdo do curso Lição 40 de 246 · Módulo 3: Neurônio para MLP
Módulo 3: Neurônio para MLP

Descendo a ladeira (gradiente descendente na mão)

Por que isso importa Escolher pesos manualmente não escala para um milhão de pesos. O gradiente diz a cada peso para qual direção é para baixo de uma só vez.

Nomeie isso

Para a perda L = mean((X @ w + b - y) squared), mude w1 e L muda por 2 * mean(error * x1), onde erro é predição menos verdade. Isso é a derivada de L em relação a w1. Tudo de uma vez: grad_w = 2 * X.T @ error / n, e grad_b = 2 * mean(error).

Leia em palavras simples

Se as previsões forem muito altas (erro positivo) em casas com um tamanho grande, então diminuir w1 ajuda, e o gradiente para w1 é positivo, então nós o subtraímos. Cada passo: w = w - lr * grad_w, onde lr, a learning rate, define o tamanho do passo.

Gradient descent: repita "compute the gradient, take a small step against it". Learning rate: o tamanho de cada passo.

Chame a Curva

Antes de rodar seu treinamento, chute a perda nos steps 0, 10, 50 e 200 em my_guess. O código imprime seu chute ao lado da verdade.

Resumo Gradiente, passo contra ele, repita.

Palavras e símbolos nesta lição
pesos (w, W), viés (b)
os números que um neurônio aprende; o bias desloca sua saída
taxa de aprendizado (lr)
quão grande cada training step é
Sua vez

Escreva gradients(X, y, w, b) retornando (grad_w, grad_b), e train(X, y, lr, steps) começando do zero e retornando (w, b, losses), onde losses guarda a perda antes de cada step. Preencha my_guess primeiro. A perda treinada deve terminar abaixo de 0.01 com lr 0.5 e os 201 steps que o starter pede.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.