Minder bits: float32, float16 en loss scaling
Waarom dit saak maak Getalle wat in minder bits gestoor word, beweeg vinniger en gebruik die helfte van die geheue, so groot modelle word in 16-bit getalle opgelei en verskik. Maar 16 bits breek op twee maniere wat jy moet ken.
- Overflow: float16 kan niks bo 65,504 hou nie. 'n Groter waarde word infinity, en dan versprei nan deur die training.
- Underflow: float16 kan ook nie klein waardes hou nie; enigiets kleiner as ongeveer 3e-8 rond af na presies 0. Klein gradiënte verdwyn.
Verlies skaalering
Vermenigvuldig die verlies met 'n groot getal S (sê 1,024) voor die backward pass, sodat elke gradient S keer groter is en bo die underflow-lyn bly. Skakel om na float16, en dan deel weer deur S in float32 voor die update. Die gradients oorleef.
Die kursus se eie opgeneemde kontrolepunte word in float16 gestoor vir presies hierdie rede: die helfte van die grootte.
Die meeste groot modelle vandag word in 'n derde formaat opgelei, bfloat16: 16 bits soos float16, maar dit behou float32 se omvang (tot ongeveer 3e38) en gee presisie op in die plek (ongeveer 3 beduidende syfers). Oorskiet en onderskiet is meestal nie meer probleme nie, so verlies skaalvergroting word selde daarmee nodig; die prys is afronding, dit is waarom die weights en die update steeds in float32 gehou word.
Woorde en simbole in hierdie les
- float16
- 16-bit getalle: half die geheue, oorvloei bo 65,504, klein waardes word 0
- OPGENAAM
- 'n regte hardloop van die kursus is een keer opgelei en gestuur vir jou om te bestudeer
Skryf to_f16(g) (veroordel na float16 en terug na float32) en scaled_to_f16(g, S) (vermenigvuldig met S, veroordel, veroordel terug, deel deur S). Stel lost_plain en lost_scaled in op die fraksie van die gegee klein gradiënte wat presies nul word op elke manier.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.