Perché una scodella allungata è lenta (condizionamento)
Perché è importante I paesaggi di loss veri sono ripidi in alcune direzioni e quasi piatti in altre. È questo squilibrio, non il numero di pesi, che rende lenta la semplice discesa del gradiente.
Guardalo
Prendi f = (k x squared + y squared) / 2. Con k = 1 è una scodella rotonda. Con k = 100 è una valle lunga e stretta: ripida di traverso, dolce in lunghezza. Il learning rate deve andare bene per entrambe le direzioni insieme. La scelta singola migliore, lr = 2 / (k + 1), fa tenere a ogni passo (k - 1) / (k + 1) della distanza in entrambe le direzioni: 0.98 quando k = 100. Più grande e la direzione ripida va oltre e si assesta più lentamente (sopra 2 / k cresce senza limite); più piccolo e la direzione dolce striscia ancora più lenta. Quindi il percorso fa zigzag attraverso la valle mentre avanza piano lungo di essa.
Numero di condizionamento: il rapporto tra la curvatura più ripida e quella più dolce, qui k. La semplice discesa del gradiente ha bisogno di circa k passi per fare buoni progressi.
Indovina la curva: prima di eseguire, prevedi quanti passi servono per arrivare entro 0.001 dal fondo per k = 1, 10 e 100, usando il miglior learning rate fisso, 2 / (k + 1).
Riepilogo L'allungamento rallenta la semplice discesa in proporzione all'allungamento.
Parole e simboli di questa lezione
- numero di condizionamento
- quanto la direzione più ripida è più ripida di quella più dolce
Compila my_guess (tre conteggi di passi), poi scrivi steps_to_converge(k): parti da (1, 1), usa lr = 2 / (k + 1), e conta i passi finché la distanza da (0, 0) è sotto 0.001 (fermati a 100,000).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.