Lehrplan Lektion 214 von 246 · Modul 20: Ein trainiertes Modell kostengünstig anpassen
Modul 20: Ein trainiertes Modell kostengünstig anpassen

Kleinere Gewichte (Quantisierung)

Warum das wichtig ist Modelle werden als Zahlen gespeichert und ausgeführt, und die meisten Zahlen benötigen keine 32 Bits. Jedes Gewicht in 8 oder 4 Bits zu speichern macht ein Modell 4 oder 8 Mal kleiner und oft schneller. So passen große Modelle auf Laptops und Telefone. Die Frage ist, was es kostet.

Das einfachste Schema pro Zeile jeder Gewichtungsmatrix: Finde den größten Absolutwert, teile die Zeile in 2^(bits - 1) - 1 gleiche Schritte auf jeder Seite von Null und runde jedes Gewicht auf den nächsten Schritt. Speichere die gerundeten Schritte (kleine Ganzzahlen) und einen Skalierungsfaktor pro Zeile.

Kleine Zahlen

Row [0.9, -0.3, 0.05] bei 4 bits: 7 Schritte pro Seite; Skalierung 0.9 / 7 = 0.129. 0.9 -> 7 Schritte -> 0.9; -0.3 -> -2.33 -> -2 Schritte -> -0.257; 0.05 -> 0.39 -> 0 Schritte -> 0. Das kleine Gewicht verschwindet.

Wörter und Symbole in dieser Lektion
quantisation
Speichern von Gewichten in weniger Bits durch Rundung auf wenige Schritte
Du bist dran

Schreibe quantize_row(w, bits) wie beschrieben. Dann setze my_guess: die englische Verluständerung, die du bei 8 und bei 4 Bits erwartest, und fülle measured für 8, 4, 3 und 2 Bits unter Verwendung von adapt.quantize (es wendet die gleiche Regel auf jede Matrix an).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.