Lehrplan Lektion 73 von 246 · Modul 5: Optimierung
Modul 5: Optimierung

Schnelles Finden einer learning rate und Clipping von Spikes

Warum das wichtig istDas Raten von learning rates verschwendet Tage. Ein kurzer Durchlauf zeigt dir eine gute. Und ein schlechter Batch kann einen Durchlauf zerstören, sofern du den step nicht begrenzt.

Der Bereichstest

Trainiere für ein paar hundert steps und erhöhe die learning rate bei jedem step ein wenig, von winzig bis riesig, und zeichne den loss auf. Zuerst passiert nichts; dann fällt der loss schnell; dann explodiert er. Eine gute learning rate liegt dort, wo der loss am schnellsten fiel, ein Stück unter der Explosion. Eine gängige Regel: nimm die rate, bei der der loss am niedrigsten war, und teile sie durch 10.

Clipping

Wenn die Gesamtgröße des Gradienten (seine Länge oder Norm) über einem Limit liegt, skaliere den gesamten Gradienten auf diese Länge herunter. Die Richtung bleibt erhalten; nur ein seltener riesiger Schritt wird gezähmt.

Gradient norm: die Länge aller Gradienten als ein langer Vektor: die Quadratwurzel der Summe ihrer Quadrate.

Wörter und Symbole in dieser Lektion
gradient norm, clipping
die Gesamtgröße des Gradienten und das Begrenzen davon
Du bist dran

Schreibe pick_lr(lrs, losses): die learning rate, bei der der loss am niedrigsten war, geteilt durch 10. Und clip(grads, max_norm): grads ist eine list von arrays; wenn ihre kombinierte norm über max_norm liegt, gib sie alle zurück, skaliert so dass die norm max_norm entspricht, sonst gib sie unverändert zurück.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.