Camminare in discesa (discesa del gradiente a mano)
Perché è importante Scegliere i pesi a mano non regge con un milione di pesi. Il gradiente dice a ogni peso da che parte si scende, tutto in una volta.
Dagli un nome
Per la loss L = mean((X @ w + b - y) al quadrato), sposta w1 e L cambia di 2 * mean(error * x1), dove error è previsione meno verità. È la derivata di L rispetto a w1. Tutto insieme: grad_w = 2 * X.T @ error / n, e grad_b = 2 * mean(error).
Leggilo in parole semplici
Se le previsioni sono troppo alte (errore positivo) sulle case con una superficie grande, allora abbassare w1 aiuta, e il gradiente di w1 è positivo, quindi lo sottraiamo. A ogni passo: w = w - lr * grad_w, dove lr, il learning rate, fissa la dimensione del passo.
Discesa del gradiente: ripetere "calcola il gradiente, fai un piccolo passo contro di esso". Learning rate: la dimensione di ogni passo.
Indovina la curva
Prima di eseguire il tuo addestramento, indovina la loss ai passi 0, 10, 50 e 200 in my_guess. Il codice stampa la tua ipotesi accanto alla verità.
Riepilogo Gradiente, passo contro di esso, ripeti.
Parole e simboli di questa lezione
- pesi (w, W), bias (b)
- i numeri che un neurone impara; il bias sposta il suo output
- learning rate (lr)
- quanto è grande ogni passo di addestramento
Scrivi gradients(X, y, w, b) che restituisce (grad_w, grad_b), e train(X, y, lr, steps) che parte da zeri e restituisce (w, b, losses), dove losses contiene la loss prima di ogni passo. Compila prima my_guess. La loss addestrata deve finire sotto 0.01 con lr 0.5 e i 201 passi che chiede il codice di partenza.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.