Scegliere un metodo con un budget
Perché è importante Ogni metodo di questo modulo è la risposta giusta a una domanda diversa. Scegliere per moda spreca soldi; scegliere a partire dalle misure è il lavoro.
Ciò che hai misurato, in un solo posto:
- Fine-tuning completo (200 passi): codice 2.19, inglese 2.26. Addestra tutti i 107,072 pesi; un'intera nuova copia del modello da salvare.
- LoRA rango 4: codice 2.27, inglese 2.04. Addestra 8,192 pesi; salva solo quelli.
- Distillazione verso uno studente largo 16 (3000 passi): inglese 1.98 con circa 1/8 dei pesi, contro 2.18 addestrato da solo.
- Quantizzazione: 8 bit, un quarto della dimensione, nessuna variazione; 4 bit, un ottavo, +0.13.
Per ogni situazione, scegli il metodo che le misure sostengono.
Parole e simboli di questa lezione
- fine-tuning
- continuare ad addestrare un modello addestrato su dati nuovi
- LoRA
- low-rank adaptation: una matrice di pesi congelata più due sottili addestrabili, x W + (alpha / r) × A B
- rango (r)
- quanto sono sottili le due matrici di LoRA: (d_in + d_out) × r pesi addestrabili per matrice
- distillazione
- addestrare un piccolo studente a copiare le probabilità complete di un grande insegnante
- temperatura (distillazione)
- dividere i punteggi prima della softmax così le seconde scelte contano di più
- quantizzazione
- salvare i pesi in meno bit arrotondandoli a pochi gradini
Riempi choice con uno tra "full fine-tune", "LoRA", "distillation" o "quantisation" per ogni situazione.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.