Come imparano i modelli
Una rete nuova ha pesi casuali ed è inutile. L'addestramento è il processo di spostare piano piano quei pesi finché l'uscita non diventa buona. Lo guidano due idee.
1. Una funzione di perdita misura quanto si sbaglia
Ti serve un singolo numero che dica quanto sono cattive le previsioni. Per la regressione, la scelta tipica è l'errore quadratico medio (MSE): la media dei quadrati delle differenze tra verità e previsione.
def mse(y_true, y_pred):
diffs = np.asarray(y_true) - np.asarray(y_pred)
return float(np.mean(diffs ** 2))Elevare al quadrato punisce di più gli errori grandi e tiene tutto positivo. Una perdita più bassa è meglio; una perdita zero significa un adattamento perfetto.
2. La discesa del gradiente rotola in discesa
Immagina la perdita come una superficie collinare e i pesi come la tua posizione su di essa. Il gradiente è la pendenza: punta in salita, verso più perdita. Quindi per ridurre la perdita, fai un piccolo passo nella direzione opposta.
w = w - learning_rate * gradientIl learning rate è la lunghezza del passo. Ripeti migliaia di volte e i pesi rotolano verso una valle di bassa perdita. Quel ciclo è tutto ciò che è l'addestramento.
Per un modello giocattolo y = w * x con MSE, il gradiente della perdita rispetto a w risulta mean(2 * (w*x - y) * x). Farai esattamente un passo e guarderai la perdita scendere.
Da un peso a un'intera rete
La rete a due livelli che hai costruito nell'ultima lezione ha molti pesi, non uno. Addestrarla significa trovare il gradiente della perdita rispetto a ogni peso, livello per livello. Questa è la retropropagazione (backpropagation): parti dalla perdita e applichi la regola della catena all'indietro attraverso ogni livello per ottenere la pendenza di ogni peso, poi fai lo stesso passo in discesa su tutti insieme. I conti sono più pesanti, ma l'idea è identica al singolo passo che fai qui sotto. Nel codice reale non la ricavi mai a mano: framework come PyTorch registrano la passata in avanti e una sola chiamata loss.backward() calcola ogni gradiente per te. Qui facciamo la versione con un peso così il meccanismo resta concreto.
Implementa mse(y_true, y_pred) (media dei quadrati delle differenze). Poi, per il modello giocattolo y = w * x, calcola loss_before, fai un passo di discesa del gradiente usando grad = np.mean(2 * (w*x - y) * x) e w = w - lr * grad, poi calcola loss_after. La perdita deve scendere.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.