Descendo a ladeira (gradiente descendente na mão)
Por que isso importa Escolher pesos manualmente não escala para um milhão de pesos. O gradiente diz a cada peso para qual direção é para baixo de uma só vez.
Nomeie isso
Para a perda L = mean((X @ w + b - y) squared), mude w1 e L muda por 2 * mean(error * x1), onde erro é predição menos verdade. Isso é a derivada de L em relação a w1. Tudo de uma vez: grad_w = 2 * X.T @ error / n, e grad_b = 2 * mean(error).
Leia em palavras simples
Se as previsões forem muito altas (erro positivo) em casas com um tamanho grande, então diminuir w1 ajuda, e o gradiente para w1 é positivo, então nós o subtraímos. Cada passo: w = w - lr * grad_w, onde lr, a learning rate, define o tamanho do passo.
Gradient descent: repita "compute the gradient, take a small step against it". Learning rate: o tamanho de cada passo.
Chame a Curva
Antes de rodar seu treinamento, chute a perda nos steps 0, 10, 50 e 200 em my_guess. O código imprime seu chute ao lado da verdade.
Resumo Gradiente, passo contra ele, repita.
Palavras e símbolos nesta lição
- pesos (w, W), viés (b)
- os números que um neurônio aprende; o bias desloca sua saída
- taxa de aprendizado (lr)
- quão grande cada training step é
Escreva gradients(X, y, w, b) retornando (grad_w, grad_b), e train(X, y, lr, steps) começando do zero e retornando (w, b, losses), onde losses guarda a perda antes de cada step. Preencha my_guess primeiro. A perda treinada deve terminar abaixo de 0.01 com lr 0.5 e os 201 steps que o starter pede.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.