Schichten, die ihre eigenen Gewichte halten
Warum das wichtig ist Echte Netze haben viele Schichten. Jede Schicht sollte ihre Gewichte besitzen und sie auflisten können, damit Trainingscode nie wissen muss, was drin ist.
Eine Linear-Schicht hält W und b als Tensoren und berechnet x @ W + b. Ein MLP hält eine Liste von Linear-Schichten mit ReLU dazwischen. Beide bieten parameters() an, eine Liste ihrer Gewichtstensoren.
Warum die Gradienten nullen
Dein backward addiert zu jedem grad. Innerhalb eines Durchlaufs ist das richtig, aber zwischen den Schritten liegt der alte Gradient noch da. Vergisst du, ihn zu leeren, benutzt jeder Schritt die Summe aller vergangenen Gradienten: Das Training driftet und explodiert dann. Also ist jeder Schritt: Gradienten nullen, vorwärts, rückwärts, Schritt.
Parameter: ein Gewicht, das das Training ändert. zero_grad: den grad jedes Parameters vor dem nächsten backward auf null setzen.
Starte die Gewichte mit der Streuung sqrt(2 / inputs), was die Signale durch ReLU-Schichten hindurch in einer vernünftigen Größe hält. Modul 6 erklärt warum.
Wörter und Symbole in dieser Lektion
- Tensor
- hier: ein Array plus sein Gradient plus die Tensoren, aus denen er stammt
- unbroadcast
- einen Gradienten auf die Form zurücksummieren, aus der er gestreckt wurde
- zero_grad
- Gradienten vor dem nächsten Schritt zurücksetzen, weil backward zu ihnen addiert
Schreibe Linear, MLP, zero_grad(params) und sgd_step(params, lr) wie beschrieben. MLP([64, 32, 10], rng) erstellt zwei Linear layers mit einem ReLU dazwischen und keines nach dem letzten.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.