Schnelles Finden einer learning rate und Clipping von Spikes
Warum das wichtig istDas Raten von learning rates verschwendet Tage. Ein kurzer Durchlauf zeigt dir eine gute. Und ein schlechter Batch kann einen Durchlauf zerstören, sofern du den step nicht begrenzt.
Der Bereichstest
Trainiere für ein paar hundert steps und erhöhe die learning rate bei jedem step ein wenig, von winzig bis riesig, und zeichne den loss auf. Zuerst passiert nichts; dann fällt der loss schnell; dann explodiert er. Eine gute learning rate liegt dort, wo der loss am schnellsten fiel, ein Stück unter der Explosion. Eine gängige Regel: nimm die rate, bei der der loss am niedrigsten war, und teile sie durch 10.
Clipping
Wenn die Gesamtgröße des Gradienten (seine Länge oder Norm) über einem Limit liegt, skaliere den gesamten Gradienten auf diese Länge herunter. Die Richtung bleibt erhalten; nur ein seltener riesiger Schritt wird gezähmt.
Gradient norm: die Länge aller Gradienten als ein langer Vektor: die Quadratwurzel der Summe ihrer Quadrate.
Wörter und Symbole in dieser Lektion
- gradient norm, clipping
- die Gesamtgröße des Gradienten und das Begrenzen davon
Schreibe pick_lr(lrs, losses): die learning rate, bei der der loss am niedrigsten war, geteilt durch 10. Und clip(grads, max_norm): grads ist eine list von arrays; wenn ihre kombinierte norm über max_norm liegt, gib sie alle zurück, skaliert so dass die norm max_norm entspricht, sonst gib sie unverändert zurück.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.