Lehrplan Lektion 204 von 250 · Feinabstimmung, konzeptionell
Feinabstimmung, konzeptionell

Speicherbedarf: 4-Bit vs. 16-Bit

Hier ist die Arithmetik, die entscheidet, ob ein Modell überhaupt auf deine Hardware passt, und warum "quantisierte" Modelle überall sind. Die Gewichte eines Modells sind nur Zahlen, und jede Zahl belegt einige Bytes je nach ihrer Präzision. Der Footprint ist einfach:

bytes = params * bits_per_param / 8
# (8 bits per byte)

Training und Inferenz mit voller Präzision nutzen oft 16-bit Floats (jeweils 2 Bytes). Um ein Modell auf einem Laptop oder Telefon auszuführen, quantisierst du es: Speichere jedes Gewicht in weniger Bits. 4-bit Quantisierung nutzt ein Viertel der Bytes, weil 4 Bits ein Viertel von 16 Bits sind. Gleiche Parameteranzahl, ein Viertel des Speichers.

Arbeite an einem 7-Milliarden-Parameter-Modell:

16-bit: 7e9 * 16 / 8 = 1.4e10 bytes  ~= 13.04 GiB
 4-bit: 7e9 *  4 / 8 = 3.5e9  bytes  ~=  3.26 GiB   (exactly 1/4)

Das ist der Unterschied zwischen einem Modell, das eine große GPU benötigt, und einem, das auf einem Laptop läuft. Genau deshalb liefert ein On-Device-Assistent (wie derjenige, der den KI-Tutor dieses Kurses antreibt) ein 4-Bit-Modell: Die Qualitätskosten sind gering, der Gewinn bei Speicher und Bandbreite ist riesig. Das ist auch der Grund, warum parameter-effizientes Fine-Tuning (LoRA) attraktiv ist, da du nur einige kleine Adapter-Gewichte auf einer eingefrorenen, möglicherweise quantisierten Basis speicherst und lieferst.

Was die einfache Formel weglässt. Sie zählt nur die Gewichte, also betrachte sie als Untergrenze. Echte 4-Bit-Formate speichern auch einen Skalierungsfaktor für jede kleine Gruppe von Gewichten, was sie auf etwa 4,5 bis 5 Bits pro Gewicht bringt (ein 7B-Modell liegt näher bei 4 GiB als bei 3,26). Das Ausführen des Modells benötigt Platz für den KV-Cache, der mit der Kontextlänge wächst. Und training braucht weit mehr als die Gewichte: Full Fine-Tuning mit dem Adam-Optimierer behält Gradienten und zwei Optimierer-Zustände pro Gewicht, etwa 16 Bytes pro Parameter in Mixed Precision, also grob 100 GiB für ein 7B-Modell vor den Aktivierungen. Diese Lücke ist der wahre Grund, warum LoRA und quantisiertes Fine-Tuning existieren.

Wir berichten den Footprint in GiB (Gibibytes), indem wir Bytes durch 1024 ** 3 teilen. Behalte es als exakten float, runde nicht, damit die Beziehungen unten präzise gelten.

Erstelle zwei Funktionen.

  • model_memory(params, bits_per_param) -> der Footprint in GiB als float: params * bits_per_param / 8 / (1024 ** 3).
  • quantization_savings(params, from_bits, to_bits) -> {"before_gb", "after_gb", "ratio"}, wobei before_gb und after_gb die zwei Fußabdrücke sind und ratio ist from_bits / to_bits (um wie viel kleiner das quantisierte Modell ist).

Die Mathematik ist real und bewertbar; das GPU-Training, das sie ermöglicht, ist nichts, was diese Sandbox ausführen kann. Drücke Run, um den Footprint eines 7B Modells bei einigen Präzisionen zu drucken.

Du bist dran

Schreibe model_memory(params, bits_per_param), das den Footprint in GiB als float (params * bits_per_param / 8 / (1024 ** 3)) zurückgibt, und quantization_savings(params, from_bits, to_bits), das {"before_gb", "after_gb", "ratio"} zurückgibt, wobei die zwei Footprints aus model_memory kommen und ratio ist from_bits / to_bits. Nicht runden; behalte exakte Floats, damit 4-bit genau ein Viertel von 16-bit ergibt.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.