Programme Leçon 212 sur 246 · Module 20 : Adapter un modèle entraîné à peu de frais
Module 20 : Adapter un modèle entraîné à peu de frais

Affiner le GPT sur ton propre texte

Pourquoi c'est important C'est l'usage de tous les jours : un modèle général, ton texte, un adaptateur bon marché. Le test est de savoir s'il a appris ton texte et gardé le reste.

Mets ton propre texte dans my_text : des notes, un essai, du code que tu as écrit, au moins 5 000 caractères (par défaut, une tranche des solutions Python pour que la leçon tourne telle quelle). Les caractères que le modèle n'a jamais vus sont retirés. Les derniers 20 % sont mis de côté pour tester.

Entraîne LoRA, rang 8, pendant 60 pas de 8 fenêtres. Tu réussis quand la partie mise de côté de ton texte obtient au moins 0.3 de mieux que le modèle de base, et que la perte en anglais a monté de moins de 0.5. Pour l'échelle, sur le texte par défaut : LoRA fait monter l'anglais d'environ 0.29, l'affinage complet d'environ 0.69, et les deux apprennent le texte à peu près aussi bien.

Mots et symboles de cette leçon
fine-tuning
continuer à entraîner un modèle entraîné sur de nouvelles données
LoRA
adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
rang (r)
à quel point les deux matrices de LoRA sont fines : (d_in + d_out) × r poids entraînables par matrice
À ton tour

Remplis base_scores et tuned_scores : (perte en anglais, perte sur les 20 % mis de côté de ton texte) avant et après l'entraînement du modèle LoRA.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.