Programma Lezione 32 di 246 · Modulo 2: Matematica e probabilità, solo quanto serve
Modulo 2: Matematica e probabilità, solo quanto serve

Come si somma la dispersione, e che cosa allunga una matrice

Perché è importante Due fatti decidono se una rete profonda si addestra o no: come cresce la dispersione di una somma con il numero di termini (il Modulo 6 ci fissa i pesi iniziali), e quanto una matrice allunga un vettore ogni volta che viene applicata (le RNN del Modulo 11 ne applicano una ancora e ancora).

Dispersione di una somma

Somma n numeri indipendenti, ognuno con varianza v. Le varianze si sommano: la somma ha varianza n v, quindi la sua dispersione (deviazione standard) è sqrt(n v). Numeri piccolissimi: 100 input ognuno con dispersione 1 danno una somma con dispersione 10, non 100 e non 1. Un neurone somma n input per i pesi, quindi per tenere vicina a 1 la dispersione del suo output, ogni peso ha bisogno di una dispersione di circa 1 / sqrt(n). È l'idea dietro i pesi iniziali del Modulo 6.

Che cosa allunga una matrice

Alcuni vettori diventano solo più lunghi o più corti quando una matrice A li moltiplica; la loro direzione resta. Un vettore così è un autovettore e il fattore di allungamento è il suo autovalore. Moltiplica un vettore per A ancora e ancora e vince la direzione con l'autovalore più grande (in valore assoluto): dopo t passi la lunghezza cresce o si riduce come quell'autovalore alla potenza t. Quindi un massimo sopra 1 esplode, e sotto 1 svanisce.

Numeri piccolissimi: A = [[0.5, 0], [0, 1.2]]. I suoi autovalori sono 0.5 e 1.2. Dopo 10 passi la prima direzione si è ridotta a 0.510, circa 0.001, e la seconda è cresciuta a 1.210, circa 6.2.

Autovalore: quanto una matrice allunga una direzione speciale. Raggio spettrale: l'autovalore più grande in valore assoluto, che decide se la moltiplicazione ripetuta cresce o svanisce.

Riepilogo Le varianze si sommano, quindi le dispersioni crescono come sqrt(n). La moltiplicazione ripetuta cresce come l'autovalore più grande alla potenza t.

Parole e simboli di questa lezione
vettore
una lista di numeri, uno per caratteristica
Tocca a te

Tre passi:

  1. Scrivi sum_spread(n, sd, trials, seed): con rng = np.random.default_rng(seed), estrai trials somme di n numeri normali con dispersione sd, e restituisci la dispersione (np.std) di quelle somme.
  2. Imposta predicted sulla dispersione che la regola dà per n = 100, sd = 0.5 (sqrt(n) × sd).
  3. Scrivi growth_rate(A, steps=200): parti da un vettore di uni; per steps volte, moltiplica per A e riscala il risultato a lunghezza 1; restituisci la lunghezza che aveva il vettore subito prima dell'ultima riscalatura. Esempio svolto: per A = [[0.5, 0], [0, 1.2]] la risposta è 1.2.

Perché il passo 3 funziona: la moltiplicazione ripetuta fa vincere l'allungamento più grande, quindi l'ultima lunghezza di un passo è l'autovalore più grande in valore assoluto, trovato senza nessuna funzione per gli autovalori. (Il controllo usa matrici simmetriche, dove questo vale sempre. Per alcune altre matrici i due più grandi sono una coppia complessa e la lunghezza oscilla da un passo all'altro; quel caso non ti servirà.)

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.