Fine-tuning del GPT sul tuo testo
Perché è importante Questo è l'uso di tutti i giorni: un modello generale, il tuo testo, un adattatore economico. Il test è se ha imparato il tuo testo e ha tenuto il resto.
Metti il tuo testo in my_text: appunti, un saggio, codice che hai scritto, almeno 5,000 caratteri (il default è una parte delle soluzioni di Python così la lezione funziona così com'è). I caratteri che il modello non ha mai visto vengono scartati. L'ultimo 20% viene tenuto da parte per il test.
Addestra LoRA, rango 8, per 60 passi da 8 finestre. Superi quando la parte tenuta da parte del tuo testo ottiene almeno 0.3 meglio del modello base, e la loss sull'inglese è salita di meno di 0.5. Per avere una scala, sul testo di default: LoRA alza l'inglese di circa 0.29, il fine-tuning completo di circa 0.69, ed entrambi imparano il testo più o meno ugualmente bene.
Parole e simboli di questa lezione
- fine-tuning
- continuare ad addestrare un modello addestrato su dati nuovi
- LoRA
- low-rank adaptation: una matrice di pesi congelata più due sottili addestrabili, x W + (alpha / r) × A B
- rango (r)
- quanto sono sottili le due matrici di LoRA: (d_in + d_out) × r pesi addestrabili per matrice
Riempi base_scores e tuned_scores: (loss sull'inglese, loss sul 20% tenuto da parte del tuo testo) prima e dopo l'addestramento del modello LoRA.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.