Fine-tune de GPT op je eigen tekst
Waarom dit ertoe doet Dit is het dagelijkse gebruik: een algemeen model, jouw tekst, een goedkope adapter. De test is of het jouw tekst heeft geleerd en de rest heeft behouden.
Zet je eigen tekst in my_text: notities, een essay, code die je hebt geschreven, minstens 5.000 tekens (de standaard is een deel van de Python oplossingen zodat de les zoals gegeven draait). Tekens die het model nooit heeft gezien worden verwijderd. De laatste 20% wordt apart gezet om op te testen.
Train LoRA, rank 8, voor 60 steps van 8 windows. Sla af wanneer het gedeelte van je tekst dat apart is minstens 0.3 beter scoort dan het basismodel en de English loss met minder dan 0.5 steeg. Voor de schaal, op de standaard tekst: LoRA verhoogt English met ongeveer 0.29, full fine-tuning met ongeveer 0.69, en beide leren de tekst ongeveer even goed.
Woorden en symbolen in deze les
- fine-tuning
- het blijven trainen van een getraind model op nieuwe data
- LoRA
- low-rank adaptation: een bevroren gewichtsmatrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
- rank (r)
- hoe dun de twee matrices van LoRA zijn: (d_in + d_out) x r trainbare weights per matrix
Vul base_scores en tuned_scores in: (verlies in Engels, verlies op de vastgehouden 20% van je tekst) voor en na de training van het LoRA model.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.