Choisir une méthode avec un budget
Pourquoi c'est important Chaque méthode de ce module est la bonne réponse à une question différente. Choisir selon la mode gaspille de l'argent ; choisir à partir de mesures, c'est le travail.
Ce que tu as mesuré, en un seul endroit :
- Affinage complet (200 pas) : code 2.19, anglais 2.26. Entraîne les 107 072 poids ; toute une nouvelle copie du modèle à stocker.
- LoRA rang 4 : code 2.27, anglais 2.04. Entraîne 8 192 poids ; ne stocke que ceux-là.
- Distillation vers un élève de largeur 16 (3000 pas) : anglais 1.98 avec environ 1/8 des poids, contre 2.18 entraîné seul.
- Quantification : 8 bits, un quart de la taille, aucun changement ; 4 bits, un huitième, +0.13.
Pour chaque situation, choisis la méthode que soutiennent les mesures.
Mots et symboles de cette leçon
- fine-tuning
- continuer à entraîner un modèle entraîné sur de nouvelles données
- LoRA
- adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
- rang (r)
- à quel point les deux matrices de LoRA sont fines : (d_in + d_out) × r poids entraînables par matrice
- distillation
- entraîner un petit élève à copier les probabilités complètes d'un grand professeur
- température (distillation)
- diviser les scores avant softmax pour que les seconds choix comptent davantage
- quantification
- stocker des poids sur moins de bits en les arrondissant à quelques pas
Remplis choice avec "full fine-tune", "LoRA", "distillation" ou "quantisation" pour chaque situation.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.