Een methode kiezen binnen een Budget
Waarom dit ertoe doet Elke methode in deze module is het juiste antwoord op een andere vraag. Kiezen op basis van mode verspilt geld; kiezen op basis van metingen is de taak.
Wat je hebt gemeten, op één plek:
- Volledige fine-tuning (200 stappen): code 2.19, Engels 2.26. Traint alle 107,072 weights; een volledig nieuwe kopie van het model om op te slaan.
- LoRA rang 4: code 2.27, Engels 2.04. Traint 8,192; slaat alleen die op.
- Distillation voor een student van 16-breed (3000 stappen): Engels 1.98 bij ongeveer 1/8 van de weights, tegenover 2.18 alleen getraind.
- Quantisation: 8 bits, een kwart van de grootte, geen verandering; 4 bits, een achtste, +0.13.
Kies voor elke situatie de methode die de metingen ondersteunen.
Woorden en symbolen in deze les
- fine-tuning
- het blijven trainen van een getraind model op nieuwe data
- LoRA
- low-rank adaptation: een bevroren gewichtsmatrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
- rank (r)
- hoe dun de twee matrices van LoRA zijn: (d_in + d_out) x r trainbare weights per matrix
- distillation
- train een kleine student om de volledige waarschijnlijkheden van een grote leraar te kopiëren
- temperatuur (destillatie)
- scores delen voor de softmax zodat tweede keuzes meer tellen
- quantisation
- storing weights in minder bits door ze af te ronden naar een paar stappen
Vul choice met een van "full fine-tune", "LoRA", "distillation" of "quantisation" voor elke situatie.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.