Lehrplan Lektion 77 von 246 · Modul 6: Startgewichte und Normalisierung
Modul 6: Startgewichte und Normalisierung

Die Skala, die Signale stabil hält (Xavier und He)

Warum das wichtig ist Es gibt eine exakte Antwort auf die Frage "wie groß sollten die Startgewichte sein". Nutze sie und tiefe Netzwerke werden trainierbar.

Kleine Zahlen

Ein Output einer Schicht addiert n_in Produkte eines Inputs und eines Gewichts. Wenn Inputs die Streuung 1 haben und Gewichte die Streuung s haben, hat die Summe von n_in solcher Terme die Streuung s mal sqrt(n_in) (Varianzen addieren: Modul 2, "How spread adds up"). Um sie bei 1 zu halten, wähle s = 1 / sqrt(n_in). Das ist LeCun Initialisierung. Xavier (auch Glorot genannt) Initialisierung hält die Gradienten auf dem Rückweg ebenfalls stabil, welche von n_out abhängen, also teilt sie den Unterschied: s = sqrt(2 / (n_in + n_out)). Wenn n_in gleich n_out ist, sind beide gleich. Beide eignen sich für tanh.

ReLU wirft die negative Hälfte weg, was die durchschnittliche quadratische Größe halbiert. Kompensiere das mit dem doppelten Varianzwert: s = sqrt(2 / n_in). Das ist die He Initialisierung, richtig für ReLU. Mit der Breite 100 ergibt He sqrt(0.02) = 0.141: genau die "ok" Skalierung aus der letzten Lektion.

Zusammenfassung tanh: Xavier, sqrt(2 / (n_in + n_out)), oder LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).

Wörter und Symbole in dieser Lektion
initialisation
wie die Gewichte vor dem Start des Trainings eingestellt werden
Xavier, LeCun, He
startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
Du bist dran

Schreibe xavier(n_in, n_out, rng) und he(n_in, n_out, rng) und gib Gewichtsmatrizen zurück. Mit He-Gewichten muss die Aktivierungsbreite nach 20 ReLU-Schichten mit einer Breite von 256 zwischen 0.2 und 5 bleiben.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.