Programma Lezione 40 di 246 · Modulo 3: Dal neurone all'MLP
Modulo 3: Dal neurone all'MLP

Camminare in discesa (discesa del gradiente a mano)

Perché è importante Scegliere i pesi a mano non regge con un milione di pesi. Il gradiente dice a ogni peso da che parte si scende, tutto in una volta.

Dagli un nome

Per la loss L = mean((X @ w + b - y) al quadrato), sposta w1 e L cambia di 2 * mean(error * x1), dove error è previsione meno verità. È la derivata di L rispetto a w1. Tutto insieme: grad_w = 2 * X.T @ error / n, e grad_b = 2 * mean(error).

Leggilo in parole semplici

Se le previsioni sono troppo alte (errore positivo) sulle case con una superficie grande, allora abbassare w1 aiuta, e il gradiente di w1 è positivo, quindi lo sottraiamo. A ogni passo: w = w - lr * grad_w, dove lr, il learning rate, fissa la dimensione del passo.

Discesa del gradiente: ripetere "calcola il gradiente, fai un piccolo passo contro di esso". Learning rate: la dimensione di ogni passo.

Indovina la curva

Prima di eseguire il tuo addestramento, indovina la loss ai passi 0, 10, 50 e 200 in my_guess. Il codice stampa la tua ipotesi accanto alla verità.

Riepilogo Gradiente, passo contro di esso, ripeti.

Parole e simboli di questa lezione
pesi (w, W), bias (b)
i numeri che un neurone impara; il bias sposta il suo output
learning rate (lr)
quanto è grande ogni passo di addestramento
Tocca a te

Scrivi gradients(X, y, w, b) che restituisce (grad_w, grad_b), e train(X, y, lr, steps) che parte da zeri e restituisce (w, b, losses), dove losses contiene la loss prima di ogni passo. Compila prima my_guess. La loss addestrata deve finire sotto 0.01 con lr 0.5 e i 201 passi che chiede il codice di partenza.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.