Un grand professeur, un petit élève (distillation)
Pourquoi c'est important Les petits modèles sont bon marché à faire tourner. La distillation (Hinton, Vinyals et Dean, 2015) entraîne un petit modèle à copier les réponses complètes d'un grand, pas seulement la bonne réponse : « probablement e, peut-être a, certainement pas z ». Ces réponses douces portent plus d'information par exemple que le texte seul.
L'élève : un GPT de largeur 16 (environ 8 000 poids). Le professeur : le GPT de largeur 64. La perte mélange deux parties : moitié entropie croisée ordinaire avec le texte, moitié entropie croisée avec les probabilités du professeur, toutes deux adoucies par une température de 2 pour que les seconds choix du professeur comptent.
Le cours a entraîné l'élève des deux façons, 3 graines, et noté la perte en anglais mis de côté à 300, 1000 et 3000 pas.
Prédis d'abord : à 300 pas, l'élève instruit bat-il celui entraîné seul ? Et à 3000 ?
Mots et symboles de cette leçon
- LoRA
- adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
- distillation
- entraîner un petit élève à copier les probabilités complètes d'un grand professeur
- température (distillation)
- diviser les scores avant softmax pour que les seconds choix comptent davantage
Affecte à guess, pour 300 et 3000 pas, "taught wins", "alone wins" ou "no clear difference". Puis remplis gap : pour chacun de 300, 1000 et 3000 pas, la moyenne seul moins la moyenne instruit (positif veut dire que la distillation a aidé), et affecte verdict à partir de là avec la règle : un écart de moins de 0.03 dans un sens ou dans l'autre veut dire pas de différence nette.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.