Programma Les 216 van 246 · Module 20: Een getraind model goedkoop aanpassen
Module 20: Een getraind model goedkoop aanpassen

Een methode kiezen binnen een Budget

Waarom dit ertoe doet Elke methode in deze module is het juiste antwoord op een andere vraag. Kiezen op basis van mode verspilt geld; kiezen op basis van metingen is de taak.

Wat je hebt gemeten, op één plek:

  • Volledige fine-tuning (200 stappen): code 2.19, Engels 2.26. Traint alle 107,072 weights; een volledig nieuwe kopie van het model om op te slaan.
  • LoRA rang 4: code 2.27, Engels 2.04. Traint 8,192; slaat alleen die op.
  • Distillation voor een student van 16-breed (3000 stappen): Engels 1.98 bij ongeveer 1/8 van de weights, tegenover 2.18 alleen getraind.
  • Quantisation: 8 bits, een kwart van de grootte, geen verandering; 4 bits, een achtste, +0.13.

Kies voor elke situatie de methode die de metingen ondersteunen.

Woorden en symbolen in deze les
fine-tuning
het blijven trainen van een getraind model op nieuwe data
LoRA
low-rank adaptation: een bevroren gewichtsmatrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
rank (r)
hoe dun de twee matrices van LoRA zijn: (d_in + d_out) x r trainbare weights per matrix
distillation
train een kleine student om de volledige waarschijnlijkheden van een grote leraar te kopiëren
temperatuur (destillatie)
scores delen voor de softmax zodat tweede keuzes meer tellen
quantisation
storing weights in minder bits door ze af te ronden naar een paar stappen
Jij bent aan de beurt

Vul choice met een van "full fine-tune", "LoRA", "distillation" of "quantisation" voor elke situatie.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.