Minder bits: float32, float16 en loss scaling
Waarom dit ertoe doet Getallen die in minder bits zijn opgeslagen zijn sneller om te verplaatsen en nemen de helft van het geheugen in, dus grote modellen trainen en worden verzonden in 16-bit getallen. Maar 16 bits breken op twee manieren die je moet weten.
- Overflow: float16 kan niets boven 65,504 bevatten. Een grotere waarde wordt oneindig, en daarna verspreidt nan zich door de training.
- Underflow: float16 kan ook geen kleine waarden vasthouden; alles wat kleiner is dan ongeveer 3e-8 wordt afgerond naar precies 0. Kleine gradiënten verdwijnen.
Loss scaling
Vermenigvuldig de loss met een groot getal S (bijvoorbeeld 1,024) voor de backward pass, zodat elke gradient S keer groter is en boven de underflow lijn blijft. Zet om naar float16, en deel dan opnieuw door S in float32 voor de update. De gradients overleven.
De eigen opgenomen checkpoints van de cursus worden opgeslagen in float16 om precies deze reden: de helft van de grootte.
De meeste grote modellen van nu worden getraind in een derde formaat, bfloat16: 16 bits zoals float16, maar het behoudt de range van float32 (tot ongeveer 3e38) en geeft in plaats daarvan precisie op (ongeveer 3 significante cijfers). Overflow en underflow zijn meestal geen problemen meer, dus loss scaling is zelden nodig ermee; de prijs is afronding, dat is waarom de weights en de update nog steeds in float32 worden bewaard.
Woorden en symbolen in deze les
- float16
- 16-bit getallen: de helft van het geheugen, overflow boven 65,504, kleine waarden worden 0
- RECORDED
- Een echte run van de cursus is één keer getraind en verzonden zodat je het kunt bestuderen
Schrijf to_f16(g) (converteer naar float16 en terug naar float32) en scaled_to_f16(g, S) (vermenigvuldig met S, converteer, converteer terug, deel door S). Stel lost_plain en lost_scaled in op de fractie van de gegeven kleine gradiënten die aan elke kant exact nul worden.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.