Lehrplan Lektion 118 von 246 · Modul 10: Netzwerke, die sehen (CNNs)
Modul 10: Netzwerke, die sehen (CNNs)

Weniger Bits: float32, float16 und loss scaling

Warum das wichtig istZahlen, die in weniger Bits gespeichert sind, lassen sich schneller bewegen und verbrauchen die Hälfte des Speichers, also trainieren und versenden große Modelle in 16-Bit-Zahlen. Aber 16 Bits schlagen in zwei Arten fehl, die du kennen musst.

  • Overflow: float16 kann nichts über 65,504 speichern. Ein größerer Wert wird zu infinity, und dann verbreitet sich nan durch das training.
  • Underflow: float16 kann auch keine winzigen Werte halten; alles was kleiner als etwa 3e-8 ist, wird auf exakt 0 gerundet. Kleine Gradienten verschwinden.

Loss scaling

Multipliziere den loss mit einer großen Zahl S (zum Beispiel 1,024) vor dem backward pass, damit jeder gradient S mal größer ist und über der Underflow-Linie bleibt. Konvertiere zu float16, dann teile in float32 vor dem update erneut durch S. Die gradients überleben.

Die eigenen aufgezeichneten Checkpoints des Kurses werden aus genau diesem Grund in float16 gespeichert: die Hälfte der Größe.

Die meisten großen Modelle heute werden in einem dritten Format trainiert, bfloat16: 16 Bits wie float16, aber es behält den Bereich von float32 (bis etwa 3e38) und gibt stattdessen Präzision auf (etwa 3 signifikante Stellen). Overflow und Underflow sind meistens keine Probleme mehr, also ist loss scaling damit selten nötig; der Preis ist Rundung, weshalb die weights und das update immer noch in float32 gehalten werden.

Wörter und Symbole in dieser Lektion
float16
16-bit Zahlen: die Hälfte des Speichers, Überlauf über 65,504, winzige Werte werden 0
RECORDED
Ein echter Durchlauf des Kurses wurde einmal trainiert und wird dir zum Lernen zugeschickt
Du bist dran

Schreibe to_f16(g) (in float16 und zurück zu float32 umwandeln) und scaled_to_f16(g, S) (mit S multiplizieren, umwandeln, zurückumwandeln, durch S dividieren). Setze lost_plain und lost_scaled auf den Anteil der gegebenen kleinen Gradienten, die in jeder Richtung exakt Null werden.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.