Superfici di loss che puoi percorrere
Perché è importante Ogni ottimizzatore è un modo diverso di scendere su un paesaggio che non puoi vedere. Percorrine prima uno semplice.
Immagina la loss come un paesaggio: due pesi sono la tua posizione su una mappa, e la loss è l'altitudine. Addestrare è scendere. Il gradiente punta in salita, quindi ogni passo va nella direzione opposta: position = position - lr * gradient.
Numeri piccolissimi
Sulla scodella f(x, y) = x squared + y squared, il gradiente in (3, 4) è (6, 8). Con lr 0.1 il passo va a (3 - 0.6, 4 - 0.8) = (2.4, 3.2). Ogni passo tiene l'80% della distanza dal fondo, quindi dopo 20 passi sei a circa l'1% da dove sei partito.
Learning rate: quanto lontano fare il passo rispetto al gradiente. Troppo piccolo striscia; troppo grande va oltre.
Riepilogo Fai il passo contro il gradiente; il learning rate fissa la falcata.
Scrivi descend(grad, start, lr, steps) che restituisce la lista delle posizioni visitate (compreso l'inizio) come array NumPy. Poi scegli my_lr in modo che, sulla scodella della lezione, partendo da (3, 4), arrivi entro 0.01 dal fondo in al massimo 15 passi.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.