Lehrplan Lektion 95 von 246 · Modul 8: Run Clinic I
Modul 8: Run Clinic I

Deine eigenen Sonden

Warum das wichtig ist Probes sind der Weg, wie du in einen Run hineinblickst. Sie selbst zu schreiben bedeutet, dass du wissen wirst, was die Zahlen bedeuten, wenn ein Tool sie dir anzeigt.

Drei Sonden erledigen die meiste Arbeit:

  • Gradientgröße pro Schicht: die Länge (Norm) des Gradienten jeder Gewichtungsmatrix. Alles Null: nichts lernt. Wild unterschiedlich zwischen Schichten: eine Schicht wird verhungert.
  • Dead share: der Anteil der versteckten Einheiten, die für jedes Beispiel in einem Batch eine Null ausgeben.
  • Update-to-weight ratio: learning rate mal gradient size, geteilt durch weight size. Es sagt, welcher Anteil jedes weights ein Schritt ändert. Etwa 0.001 bis 0.1 ist gesund; nahe 1 bedeutet, dass jeder Schritt die weights neu schreibt; nahe 0 bedeutet, dass nichts sich bewegt.

Das Harness legt seine Interna offen: _data(c) gibt die Trainingsdaten an, _init(c) die Startgewichte, und _fb(p, X, y, c) gibt (loss, gradients, hidden activations) zurück.

Wörter und Symbole in dieser Lektion
probe
eine schnelle Messung eines Durchlaufs, wie zum Beispiel Gradientengrößen oder tote Einheiten
update-to-weight ratio
wie sehr stark ein Schritt jedes Gewicht relativ zu seiner Größe ändert
Du bist dran

Schreibe my_grad_norms(c), my_dead_share(c) und my_update_ratio(c) mit den ersten 256 Trainingsbeispielen und den Startgewichten. Sie müssen zu den Sonden der Klinik passen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.