Wie sich Spread addiert und was eine Matrix dehnt
Warum das wichtig ist Zwei Fakten entscheiden, ob ein tiefes Netzwerk überhaupt trainiert: wie das Wachstum der Summe mit der Anzahl der Terme steigt (Modul 6 setzt Startgewichte damit), und wie stark eine Matrix einen Vektor jedes Mal dehnt, wenn sie angewendet wird (die RNNs von Modul 11 wenden eine immer wieder an).
Verteilung einer Summe
Addiere n unabhängige Zahlen, jede mit Varianz v. Die Varianzen addieren sich: die Summe hat die Varianz n v, also ist ihre Streuung (Standardabweichung) sqrt(n v). Kleine Zahlen: 100 Eingaben mit einer Streuung von 1 geben eine Summe mit einer Streuung von 10, nicht 100 und nicht 1. Ein Neuron addiert n Eingaben mal Gewichte, also muss jedes Gewicht eine Streuung von etwa 1 / sqrt(n) haben, um die Streuung seiner Ausgabe nahe bei 1 zu halten. Das ist die Idee hinter den Startgewichten von Modul 6.
Was für eine Matrix sich dehnt
Einige Vektoren werden nur länger oder kürzer, wenn eine Matrix A sie multipliziert; ihre Richtung bleibt gleich. Ein solcher Vektor ist ein eigenvector und der Streckfaktor ist sein eigenvalue. Multipliziere einen Vektor wieder und wieder mit A und die Richtung mit dem größten Eigenwert (in der Größe) gewinnt: nach t steps wächst oder schrumpft die Länge wie dieser Eigenwert hoch t. Also explodiert eine größte Größe über 1 und unter 1 verblasst sie.
Kleine Zahlen: A = [[0.5, 0], [0, 1.2]]. Seine Eigenwerte sind 0.5 und 1.2. Nach 10 steps ist die erste Richtung auf 0.510, etwa 0.001, geschrumpft, und die zweite ist auf 1.210, etwa 6.2, angewachsen.
Eigenvalue: wie stark eine Matrix eine spezielle Richtung dehnt. Spectral radius: der größte Eigenwert in der Größe, der entscheidet, ob wiederholte Multiplikation wächst oder verblasst.
Zusammenfassung Varianzen addieren sich, also wachsen Spreads wie sqrt(n). Wiederholte Multiplikation wächst wie der größte Eigenwert hoch t.
Wörter und Symbole in dieser Lektion
- vector
- eine Liste von Zahlen, eine pro Merkmal
Drei Schritte:
- Schreibe
sum_spread(n, sd, trials, seed): mitrng = np.random.default_rng(seed), zeichnetrialsSummen von n normalen Zahlen mit Streuung sd, und gib die Streuung (np.std) dieser Summen zurück. - Setze
predictedauf die Streuung, die die Regel für n = 100, sd = 0.5 (sqrt(n) x sd) vorgibt. - Schreibe
growth_rate(A, steps=200): beginne mit einem Vektor aus Einsen; multiplizierestepsMal mit A und skaliere das Ergebnis auf die Länge 1; gib die Länge zurück, die der Vektor kurz vor der letzten Skalierung hatte. Beispiel: für A = [[0.5, 0], [0, 1.2]] ist die Antwort 1.2.
Warum Schritt 3 funktioniert: Die wiederholte Multiplikation lässt den größten Stretch gewinnen, also ist die letzte Ein-Schritt-Länge der größte Eigenwert in der Größe, gefunden ohne jede Eigenwertfunktion. (Die Prüfung nutzt symmetrische Matrizen, wo dies immer gilt. Für einige andere Matrizen sind die zwei größten ein komplexes Paar und die Länge schwankt von Schritt zu Schritt; du wirst diesen Fall nicht benötigen.)
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.