Kleinere gewichten (quantisatie)
Waarom dit ertoe doet Modellen worden opgeslagen en uitgevoerd als getallen, en de meeste getallen hebben geen 32 bits nodig. Het opslaan van elk gewicht in 8 of 4 bits maakt een model 4 of 8 keer kleiner en vaak sneller, wat is hoe grote modellen op laptops en telefoons passen. De vraag is wat het kost.
Het eenvoudigste schema, per rij van elke weight matrix: vind de grootste absolute waarde, deel de rij in 2^(bits - 1) - 1 gelijke stappen aan elke kant van nul, en rond elke weight af naar de dichtstbijzijnde stap. Sla de afgeronde stappen (kleine integers) en één schaal per rij op.
Tintalletjes
Row [0.9, -0.3, 0.05] bij 4 bits: 7 stappen per kant; schaal 0.9 / 7 = 0.129. 0.9 -> 7 stappen -> 0.9; -0.3 -> -2.33 -> -2 stappen -> -0.257; 0.05 -> 0.39 -> 0 stappen -> 0. Het kleine gewicht verdwijnt.
Woorden en symbolen in deze les
- quantisation
- storing weights in minder bits door ze af te ronden naar een paar stappen
Schrijf quantize_row(w, bits) zoals beschreven. Stel daarna my_guess in: de verwachte verandering in de Engelse loss bij 8 en 4 bits, en vul measured in voor 8, 4, 3 en 2 bits met behulp van adapt.quantize (het past dezelfde regel toe op elke matrix).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.