Programma Lezione 213 di 246 · Modulo 20: Adattare a poco prezzo un modello addestrato
Modulo 20: Adattare a poco prezzo un modello addestrato

Un grande insegnante, un piccolo studente (distillazione)

Perché è importante I modelli piccoli costano poco da eseguire. La distillazione (Hinton, Vinyals e Dean, 2015) addestra un modello piccolo a copiare le risposte complete di uno grande, non solo la risposta giusta: "probabilmente e, forse a, di sicuro non z". Quelle risposte morbide portano più informazione per esempio del solo testo.

Lo studente: un GPT largo 16 (circa 8,000 pesi). L'insegnante: il GPT largo 64. La loss mescola due parti: metà cross-entropy ordinaria con il testo, metà cross-entropy con le probabilità dell'insegnante, entrambe ammorbidite da una temperatura di 2 così che le seconde scelte dell'insegnante contino.

Il corso ha addestrato lo studente in entrambi i modi, 3 seed, e ha registrato la loss sull'inglese tenuto da parte a 300, 1000 e 3000 passi.

Prima prevedi: a 300 passi, lo studente con insegnante batte quello addestrato da solo? E a 3000?

Parole e simboli di questa lezione
LoRA
low-rank adaptation: una matrice di pesi congelata più due sottili addestrabili, x W + (alpha / r) × A B
distillazione
addestrare un piccolo studente a copiare le probabilità complete di un grande insegnante
temperatura (distillazione)
dividere i punteggi prima della softmax così le seconde scelte contano di più
Tocca a te

Imposta guess per 300 e 3000 passi su "taught wins", "alone wins" o "no clear difference". Poi riempi gap: per ognuno tra 300, 1000 e 3000 passi, media da solo meno media con insegnante (positivo significa che la distillazione ha aiutato), e imposta verdict da lì con la regola: uno scarto sotto 0.03 in entrambe le direzioni è nessuna differenza chiara.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.