Programme Leçon 213 sur 246 · Module 20 : Adapter un modèle entraîné à peu de frais
Module 20 : Adapter un modèle entraîné à peu de frais

Un grand professeur, un petit élève (distillation)

Pourquoi c'est important Les petits modèles sont bon marché à faire tourner. La distillation (Hinton, Vinyals et Dean, 2015) entraîne un petit modèle à copier les réponses complètes d'un grand, pas seulement la bonne réponse : « probablement e, peut-être a, certainement pas z ». Ces réponses douces portent plus d'information par exemple que le texte seul.

L'élève : un GPT de largeur 16 (environ 8 000 poids). Le professeur : le GPT de largeur 64. La perte mélange deux parties : moitié entropie croisée ordinaire avec le texte, moitié entropie croisée avec les probabilités du professeur, toutes deux adoucies par une température de 2 pour que les seconds choix du professeur comptent.

Le cours a entraîné l'élève des deux façons, 3 graines, et noté la perte en anglais mis de côté à 300, 1000 et 3000 pas.

Prédis d'abord : à 300 pas, l'élève instruit bat-il celui entraîné seul ? Et à 3000 ?

Mots et symboles de cette leçon
LoRA
adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
distillation
entraîner un petit élève à copier les probabilités complètes d'un grand professeur
température (distillation)
diviser les scores avant softmax pour que les seconds choix comptent davantage
À ton tour

Affecte à guess, pour 300 et 3000 pas, "taught wins", "alone wins" ou "no clear difference". Puis remplis gap : pour chacun de 300, 1000 et 3000 pas, la moyenne seul moins la moyenne instruit (positif veut dire que la distillation a aidé), et affecte verdict à partir de là avec la règle : un écart de moins de 0.03 dans un sens ou dans l'autre veut dire pas de différence nette.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.