Lehrplan Lektion 28 von 246 · Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig
Modul 2: Mathematik und Wahrscheinlichkeit, nur wenn nötig

Warum rückwärts billig ist (reverse mode)

Warum das wichtig ist Ein Netzwerk hat Millionen von Gewichten. Wenn jeder Gradient seinen eigenen Durchgang bräuchte, wäre das Training unmöglich. Das Zurückgehen erhält alle für etwa den Preis von einem weiteren Durchgang.

Kleine Zahlen

Nimm L = f3(f2(f1(x))) wo x 3 Zahlen hat und L eine Zahl ist. Wenn du forward mit Nudges gehst, drückst du einen Input, schiebst ihn durch alle drei steps und lernst einen Gradienten. Drei Inputs bedeuten drei volle Durchgänge.

Wenn du rückwärts gehst, startest du bei L, was eine Zahl ist, und schiebst "wie sehr beeinflusst L dies?" zurück durch f3, dann f2, dann f1. Ein Durchgang gibt den Gradienten für jeden Input gleichzeitig an.

Mit 3 Inputs machst du 1 Trip statt 3. Mit einer Million Gewichten, 1 Trip statt einer Million. Ein Rückwärts-Trip ist jedoch nicht kostenlos: er kostet etwa 2 bis 3 Vorwärts-Passes, weil jeder Schritt mit seinen lokalen Steigungen multipliziert werden muss. In der realen Arbeit liegt die Ersparnis also bei etwa n / 3, was bei einer Million Gewichten immer noch bei etwa 300.000 liegt. Deshalb arbeitet jede Deep Learning Bibliothek rückwärts.

Reverse mode: Berechnung von Gradienten durch Durchlaufen vom Output zurück zu den Inputs. Sein Baustein wird als vector-Jacobian product bezeichnet; die nächste Lektion nimmt es auseinander.

Zusammenfassung Ein Output, viele Inputs: gehe rückwärts.

Wörter und Symbole in dieser Lektion
vector
eine Liste von Zahlen, eine pro Merkmal
Du bist dran

Fülle die Operationen für ein Netzwerk mit n Gewichten und einem Loss aus. forward_trips(n): wie viele vollständige Durchgänge die nudge-each-input Methode braucht (ein nudged Durchgang pro Gewicht; lass den einzelnen un-nudged Durchgang aus, den du auch ausführen würdest). backward_trips(n): wie viele Rückwärtsschritte der reverse mode braucht. Setze dann saving_for_a_million auf das Verhältnis der Trips (nicht der Arbeit) für n = 1,000,000.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.