Kleinere Gewichte (Quantisierung)
Warum das wichtig ist Modelle werden als Zahlen gespeichert und ausgeführt, und die meisten Zahlen benötigen keine 32 Bits. Jedes Gewicht in 8 oder 4 Bits zu speichern macht ein Modell 4 oder 8 Mal kleiner und oft schneller. So passen große Modelle auf Laptops und Telefone. Die Frage ist, was es kostet.
Das einfachste Schema pro Zeile jeder Gewichtungsmatrix: Finde den größten Absolutwert, teile die Zeile in 2^(bits - 1) - 1 gleiche Schritte auf jeder Seite von Null und runde jedes Gewicht auf den nächsten Schritt. Speichere die gerundeten Schritte (kleine Ganzzahlen) und einen Skalierungsfaktor pro Zeile.
Kleine Zahlen
Row [0.9, -0.3, 0.05] bei 4 bits: 7 Schritte pro Seite; Skalierung 0.9 / 7 = 0.129. 0.9 -> 7 Schritte -> 0.9; -0.3 -> -2.33 -> -2 Schritte -> -0.257; 0.05 -> 0.39 -> 0 Schritte -> 0. Das kleine Gewicht verschwindet.
Wörter und Symbole in dieser Lektion
- quantisation
- Speichern von Gewichten in weniger Bits durch Rundung auf wenige Schritte
Schreibe quantize_row(w, bits) wie beschrieben. Dann setze my_guess: die englische Verluständerung, die du bei 8 und bei 4 Bits erwartest, und fülle measured für 8, 4, 3 und 2 Bits unter Verwendung von adapt.quantize (es wendet die gleiche Regel auf jede Matrix an).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.