Programma Les 118 van 246 · Module 10: Netwerken die zien (CNNs)
Module 10: Netwerken die zien (CNNs)

Minder bits: float32, float16 en loss scaling

Waarom dit ertoe doet Getallen die in minder bits zijn opgeslagen zijn sneller om te verplaatsen en nemen de helft van het geheugen in, dus grote modellen trainen en worden verzonden in 16-bit getallen. Maar 16 bits breken op twee manieren die je moet weten.

  • Overflow: float16 kan niets boven 65,504 bevatten. Een grotere waarde wordt oneindig, en daarna verspreidt nan zich door de training.
  • Underflow: float16 kan ook geen kleine waarden vasthouden; alles wat kleiner is dan ongeveer 3e-8 wordt afgerond naar precies 0. Kleine gradiënten verdwijnen.

Loss scaling

Vermenigvuldig de loss met een groot getal S (bijvoorbeeld 1,024) voor de backward pass, zodat elke gradient S keer groter is en boven de underflow lijn blijft. Zet om naar float16, en deel dan opnieuw door S in float32 voor de update. De gradients overleven.

De eigen opgenomen checkpoints van de cursus worden opgeslagen in float16 om precies deze reden: de helft van de grootte.

De meeste grote modellen van nu worden getraind in een derde formaat, bfloat16: 16 bits zoals float16, maar het behoudt de range van float32 (tot ongeveer 3e38) en geeft in plaats daarvan precisie op (ongeveer 3 significante cijfers). Overflow en underflow zijn meestal geen problemen meer, dus loss scaling is zelden nodig ermee; de prijs is afronding, dat is waarom de weights en de update nog steeds in float32 worden bewaard.

Woorden en symbolen in deze les
float16
16-bit getallen: de helft van het geheugen, overflow boven 65,504, kleine waarden worden 0
RECORDED
Een echte run van de cursus is één keer getraind en verzonden zodat je het kunt bestuderen
Jij bent aan de beurt

Schrijf to_f16(g) (converteer naar float16 en terug naar float32) en scaled_to_f16(g, S) (vermenigvuldig met S, converteer, converteer terug, deel door S). Stel lost_plain en lost_scaled in op de fractie van de gegeven kleine gradiënten die aan elke kant exact nul worden.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.