Die Skala, die Signale stabil hält (Xavier und He)
Warum das wichtig ist Es gibt eine exakte Antwort auf die Frage "wie groß sollten die Startgewichte sein". Nutze sie und tiefe Netzwerke werden trainierbar.
Kleine Zahlen
Ein Output einer Schicht addiert n_in Produkte eines Inputs und eines Gewichts. Wenn Inputs die Streuung 1 haben und Gewichte die Streuung s haben, hat die Summe von n_in solcher Terme die Streuung s mal sqrt(n_in) (Varianzen addieren: Modul 2, "How spread adds up"). Um sie bei 1 zu halten, wähle s = 1 / sqrt(n_in). Das ist LeCun Initialisierung. Xavier (auch Glorot genannt) Initialisierung hält die Gradienten auf dem Rückweg ebenfalls stabil, welche von n_out abhängen, also teilt sie den Unterschied: s = sqrt(2 / (n_in + n_out)). Wenn n_in gleich n_out ist, sind beide gleich. Beide eignen sich für tanh.
ReLU wirft die negative Hälfte weg, was die durchschnittliche quadratische Größe halbiert. Kompensiere das mit dem doppelten Varianzwert: s = sqrt(2 / n_in). Das ist die He Initialisierung, richtig für ReLU. Mit der Breite 100 ergibt He sqrt(0.02) = 0.141: genau die "ok" Skalierung aus der letzten Lektion.
Zusammenfassung tanh: Xavier, sqrt(2 / (n_in + n_out)), oder LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).
Wörter und Symbole in dieser Lektion
- initialisation
- wie die Gewichte vor dem Start des Trainings eingestellt werden
- Xavier, LeCun, He
- startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
Schreibe xavier(n_in, n_out, rng) und he(n_in, n_out, rng) und gib Gewichtsmatrizen zurück. Mit He-Gewichten muss die Aktivierungsbreite nach 20 ReLU-Schichten mit einer Breite von 256 zwischen 0.2 und 5 bleiben.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.