Programma Les 214 van 246 · Module 20: Een getraind model goedkoop aanpassen
Module 20: Een getraind model goedkoop aanpassen

Kleinere gewichten (quantisatie)

Waarom dit ertoe doet Modellen worden opgeslagen en uitgevoerd als getallen, en de meeste getallen hebben geen 32 bits nodig. Het opslaan van elk gewicht in 8 of 4 bits maakt een model 4 of 8 keer kleiner en vaak sneller, wat is hoe grote modellen op laptops en telefoons passen. De vraag is wat het kost.

Het eenvoudigste schema, per rij van elke weight matrix: vind de grootste absolute waarde, deel de rij in 2^(bits - 1) - 1 gelijke stappen aan elke kant van nul, en rond elke weight af naar de dichtstbijzijnde stap. Sla de afgeronde stappen (kleine integers) en één schaal per rij op.

Tintalletjes

Row [0.9, -0.3, 0.05] bij 4 bits: 7 stappen per kant; schaal 0.9 / 7 = 0.129. 0.9 -> 7 stappen -> 0.9; -0.3 -> -2.33 -> -2 stappen -> -0.257; 0.05 -> 0.39 -> 0 stappen -> 0. Het kleine gewicht verdwijnt.

Woorden en symbolen in deze les
quantisation
storing weights in minder bits door ze af te ronden naar een paar stappen
Jij bent aan de beurt

Schrijf quantize_row(w, bits) zoals beschreven. Stel daarna my_guess in: de verwachte verandering in de Engelse loss bij 8 en 4 bits, en vul measured in voor 8, 4, 3 en 2 bits met behulp van adapt.quantize (het past dezelfde regel toe op elke matrix).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.