Un grande insegnante, un piccolo studente (distillazione)
Perché è importante I modelli piccoli costano poco da eseguire. La distillazione (Hinton, Vinyals e Dean, 2015) addestra un modello piccolo a copiare le risposte complete di uno grande, non solo la risposta giusta: "probabilmente e, forse a, di sicuro non z". Quelle risposte morbide portano più informazione per esempio del solo testo.
Lo studente: un GPT largo 16 (circa 8,000 pesi). L'insegnante: il GPT largo 64. La loss mescola due parti: metà cross-entropy ordinaria con il testo, metà cross-entropy con le probabilità dell'insegnante, entrambe ammorbidite da una temperatura di 2 così che le seconde scelte dell'insegnante contino.
Il corso ha addestrato lo studente in entrambi i modi, 3 seed, e ha registrato la loss sull'inglese tenuto da parte a 300, 1000 e 3000 passi.
Prima prevedi: a 300 passi, lo studente con insegnante batte quello addestrato da solo? E a 3000?
Parole e simboli di questa lezione
- LoRA
- low-rank adaptation: una matrice di pesi congelata più due sottili addestrabili, x W + (alpha / r) × A B
- distillazione
- addestrare un piccolo studente a copiare le probabilità complete di un grande insegnante
- temperatura (distillazione)
- dividere i punteggi prima della softmax così le seconde scelte contano di più
Imposta guess per 300 e 3000 passi su "taught wins", "alone wins" o "no clear difference". Poi riempi gap: per ognuno tra 300, 1000 e 3000 passi, media da solo meno media con insegnante (positivo significa che la distillazione ha aiutato), e imposta verdict da lì con la regola: uno scarto sotto 0.03 in entrambe le direzioni è nessuna differenza chiara.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.