Programma Lezione 65 di 246 · Modulo 5: Ottimizzazione
Modulo 5: Ottimizzazione

Perché una scodella allungata è lenta (condizionamento)

Perché è importante I paesaggi di loss veri sono ripidi in alcune direzioni e quasi piatti in altre. È questo squilibrio, non il numero di pesi, che rende lenta la semplice discesa del gradiente.

Guardalo

Prendi f = (k x squared + y squared) / 2. Con k = 1 è una scodella rotonda. Con k = 100 è una valle lunga e stretta: ripida di traverso, dolce in lunghezza. Il learning rate deve andare bene per entrambe le direzioni insieme. La scelta singola migliore, lr = 2 / (k + 1), fa tenere a ogni passo (k - 1) / (k + 1) della distanza in entrambe le direzioni: 0.98 quando k = 100. Più grande e la direzione ripida va oltre e si assesta più lentamente (sopra 2 / k cresce senza limite); più piccolo e la direzione dolce striscia ancora più lenta. Quindi il percorso fa zigzag attraverso la valle mentre avanza piano lungo di essa.

Numero di condizionamento: il rapporto tra la curvatura più ripida e quella più dolce, qui k. La semplice discesa del gradiente ha bisogno di circa k passi per fare buoni progressi.

Indovina la curva: prima di eseguire, prevedi quanti passi servono per arrivare entro 0.001 dal fondo per k = 1, 10 e 100, usando il miglior learning rate fisso, 2 / (k + 1).

Riepilogo L'allungamento rallenta la semplice discesa in proporzione all'allungamento.

Parole e simboli di questa lezione
numero di condizionamento
quanto la direzione più ripida è più ripida di quella più dolce
Tocca a te

Compila my_guess (tre conteggi di passi), poi scrivi steps_to_converge(k): parti da (1, 1), usa lr = 2 / (k + 1), e conta i passi finché la distanza da (0, 0) è sotto 0.001 (fermati a 100,000).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.