Abkürzungen (Residualverbindungen)
Warum das wichtig ist Residual connections sind der Grund, warum Netzwerke mit hunderten von Schichten überhaupt trainierbar sind. Jeder Transformer block nutzt sie.
eine einfache Schicht ersetzt ihren Input: h = f(h). Ein Residual Block fügt dazu: h = h + f(h). Wenn f nichts Nützliches lernt, gibt der Block h einfach unverändert weiter, also kann zusätzliche Tiefe am Anfang niemals die Dinge verschlechtern. Und auf dem Rückweg hat der Gradient eine direkte Route entlang des "+ h" Pfades, der die Schicht komplett überspringt, also kann er nicht verschwinden.
Eine faire Warnung vor dem Experiment unten: beide Netzwerke starten von den gleichen absichtlich kleinen Gewichten, N(0, 0.1). Dieser Start lässt das einfache Netzwerk sinken. Mit den He Startgewichten von früher in diesem Modul trainiert das einfache 30-Schicht-Netzwerk auch (5 von 6 Seeds in den Durchläufen des Kurses). Was Shortcuts hinzufügen ist Robustheit: sie trainieren sogar von einem schlechten Start, und sie funktionieren weiterhin in Tiefen, wo sorgfältige Startgewichte allein nicht mehr ausreichen.
Hier wird der Beitrag jedes Blocks auch mit 1 / depth skaliert, ein gängiger Trick, damit 30 Additionen das Signal nicht zerstören.
Residual connection (oder skip connection, shortcut): das Hinzufügen des Inputs eines Blocks zu seinem Output.
Die Kurve aufrufen: Schätze den finalen loss nach 150 steps für das einfache Netzwerk und für das mit shortcuts. (Ein loss von 0.693 bedeutet ein Münzwurf bei dieser Zwei-Klassen-Aufgabe.)
Wörter und Symbole in dieser Lektion
- Xavier, LeCun, He
- startende Spreads sind sqrt(2 / (inputs + outputs)) oder 1 / sqrt(inputs) für tanh, und sqrt(2 / inputs) für ReLU
- residual connection
- das Hinzufügen des Inputs eines Blocks zu seinem Output: h + f(h)
Fülle my_guess aus. Dann schreibe block(h, W, b, shortcuts, depth): ohne Abkürzungen gib relu(h @ W + b) zurück; mit Abkürzungen gib h + relu(h @ W + b) * (1 / depth) zurück. Der Test trainiert beide 30-Schicht-Netzwerke von den gleichen kleinen Startgewichten.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.