Kurrikulum Leson 118 van 246 · Module 10: Netwerke wat sien (CNNs)
Module 10: Netwerke wat sien (CNNs)

Minder bits: float32, float16 en loss scaling

Waarom dit saak maak Getalle wat in minder bits gestoor word, beweeg vinniger en gebruik die helfte van die geheue, so groot modelle word in 16-bit getalle opgelei en verskik. Maar 16 bits breek op twee maniere wat jy moet ken.

  • Overflow: float16 kan niks bo 65,504 hou nie. 'n Groter waarde word infinity, en dan versprei nan deur die training.
  • Underflow: float16 kan ook nie klein waardes hou nie; enigiets kleiner as ongeveer 3e-8 rond af na presies 0. Klein gradiënte verdwyn.

Verlies skaalering

Vermenigvuldig die verlies met 'n groot getal S (sê 1,024) voor die backward pass, sodat elke gradient S keer groter is en bo die underflow-lyn bly. Skakel om na float16, en dan deel weer deur S in float32 voor die update. Die gradients oorleef.

Die kursus se eie opgeneemde kontrolepunte word in float16 gestoor vir presies hierdie rede: die helfte van die grootte.

Die meeste groot modelle vandag word in 'n derde formaat opgelei, bfloat16: 16 bits soos float16, maar dit behou float32 se omvang (tot ongeveer 3e38) en gee presisie op in die plek (ongeveer 3 beduidende syfers). Oorskiet en onderskiet is meestal nie meer probleme nie, so verlies skaalvergroting word selde daarmee nodig; die prys is afronding, dit is waarom die weights en die update steeds in float32 gehou word.

Woorde en simbole in hierdie les
float16
16-bit getalle: half die geheue, oorvloei bo 65,504, klein waardes word 0
OPGENAAM
'n regte hardloop van die kursus is een keer opgelei en gestuur vir jou om te bestudeer
Jou beurt

Skryf to_f16(g) (veroordel na float16 en terug na float32) en scaled_to_f16(g, S) (vermenigvuldig met S, veroordel, veroordel terug, deel deur S). Stel lost_plain en lost_scaled in op die fraksie van die gegee klein gradiënte wat presies nul word op elke manier.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.