Lehrplan Lektion 32 von 246 · Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig
Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig

Wie sich Spread addiert und was eine Matrix dehnt

Warum das wichtig ist Zwei Fakten entscheiden, ob ein tiefes Netzwerk überhaupt trainiert: wie das Wachstum der Summe mit der Anzahl der Terme steigt (Modul 6 setzt Startgewichte damit), und wie stark eine Matrix einen Vektor jedes Mal dehnt, wenn sie angewendet wird (die RNNs von Modul 11 wenden eine immer wieder an).

Verteilung einer Summe

Addiere n unabhängige Zahlen, jede mit Varianz v. Die Varianzen addieren sich: die Summe hat die Varianz n v, also ist ihre Streuung (Standardabweichung) sqrt(n v). Kleine Zahlen: 100 Eingaben mit einer Streuung von 1 geben eine Summe mit einer Streuung von 10, nicht 100 und nicht 1. Ein Neuron addiert n Eingaben mal Gewichte, also muss jedes Gewicht eine Streuung von etwa 1 / sqrt(n) haben, um die Streuung seiner Ausgabe nahe bei 1 zu halten. Das ist die Idee hinter den Startgewichten von Modul 6.

Was für eine Matrix sich dehnt

Einige Vektoren werden nur länger oder kürzer, wenn eine Matrix A sie multipliziert; ihre Richtung bleibt gleich. Ein solcher Vektor ist ein eigenvector und der Streckfaktor ist sein eigenvalue. Multipliziere einen Vektor wieder und wieder mit A und die Richtung mit dem größten Eigenwert (in der Größe) gewinnt: nach t steps wächst oder schrumpft die Länge wie dieser Eigenwert hoch t. Also explodiert eine größte Größe über 1 und unter 1 verblasst sie.

Kleine Zahlen: A = [[0.5, 0], [0, 1.2]]. Seine Eigenwerte sind 0.5 und 1.2. Nach 10 steps ist die erste Richtung auf 0.510, etwa 0.001, geschrumpft, und die zweite ist auf 1.210, etwa 6.2, angewachsen.

Eigenvalue: wie stark eine Matrix eine spezielle Richtung dehnt. Spectral radius: der größte Eigenwert in der Größe, der entscheidet, ob wiederholte Multiplikation wächst oder verblasst.

Zusammenfassung Varianzen addieren sich, also wachsen Spreads wie sqrt(n). Wiederholte Multiplikation wächst wie der größte Eigenwert hoch t.

Wörter und Symbole in dieser Lektion
vector
eine Liste von Zahlen, eine pro Merkmal
Du bist dran

Drei Schritte:

  1. Schreibe sum_spread(n, sd, trials, seed): mit rng = np.random.default_rng(seed), zeichne trials Summen von n normalen Zahlen mit Streuung sd, und gib die Streuung (np.std) dieser Summen zurück.
  2. Setze predicted auf die Streuung, die die Regel für n = 100, sd = 0.5 (sqrt(n) x sd) vorgibt.
  3. Schreibe growth_rate(A, steps=200): beginne mit einem Vektor aus Einsen; multipliziere steps Mal mit A und skaliere das Ergebnis auf die Länge 1; gib die Länge zurück, die der Vektor kurz vor der letzten Skalierung hatte. Beispiel: für A = [[0.5, 0], [0, 1.2]] ist die Antwort 1.2.

Warum Schritt 3 funktioniert: Die wiederholte Multiplikation lässt den größten Stretch gewinnen, also ist die letzte Ein-Schritt-Länge der größte Eigenwert in der Größe, gefunden ohne jede Eigenwertfunktion. (Die Prüfung nutzt symmetrische Matrizen, wo dies immer gilt. Für einige andere Matrizen sind die zwei größten ein komplexes Paar und die Länge schwankt von Schritt zu Schritt; du wirst diesen Fall nicht benötigen.)

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.