Affiner le GPT sur ton propre texte
Pourquoi c'est important C'est l'usage de tous les jours : un modèle général, ton texte, un adaptateur bon marché. Le test est de savoir s'il a appris ton texte et gardé le reste.
Mets ton propre texte dans my_text : des notes, un essai, du code que tu as écrit, au moins 5 000 caractères (par défaut, une tranche des solutions Python pour que la leçon tourne telle quelle). Les caractères que le modèle n'a jamais vus sont retirés. Les derniers 20 % sont mis de côté pour tester.
Entraîne LoRA, rang 8, pendant 60 pas de 8 fenêtres. Tu réussis quand la partie mise de côté de ton texte obtient au moins 0.3 de mieux que le modèle de base, et que la perte en anglais a monté de moins de 0.5. Pour l'échelle, sur le texte par défaut : LoRA fait monter l'anglais d'environ 0.29, l'affinage complet d'environ 0.69, et les deux apprennent le texte à peu près aussi bien.
Mots et symboles de cette leçon
- fine-tuning
- continuer à entraîner un modèle entraîné sur de nouvelles données
- LoRA
- adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
- rang (r)
- à quel point les deux matrices de LoRA sont fines : (d_in + d_out) × r poids entraînables par matrice
Remplis base_scores et tuned_scores : (perte en anglais, perte sur les 20 % mis de côté de ton texte) avant et après l'entraînement du modèle LoRA.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.