Programme Leçon 208 sur 246 · Module 20 : Adapter un modèle entraîné à peu de frais
Module 20 : Adapter un modèle entraîné à peu de frais

Apprendre du nouveau, oublier l'ancien

Pourquoi c'est important Chaque modèle utile est adapté : aux documents d'une entreprise, à un style de code, à une langue. La façon évidente, continuer à entraîner sur les nouvelles données, a un coût que personne ne voit avant qu'il soit trop tard : le modèle empire sur ce qu'il savait.

Le GPT enregistré du cours a appris l'anglais à partir du texte des leçons du cours. Son nouveau travail : le code Python, tiré des solutions détaillées du cours Python. Avant l'entraînement, il obtient 1.70 sur de l'anglais mis de côté et 3.25 sur du code mis de côté (il a à peine vu du code).

Entraîne chaque poids sur du code pendant 60 pas de 8 fenêtres (le maximum qui tient dans une leçon dans le navigateur) et mesure à nouveau les deux. Regarde d'abord la scène : les deux pertes, pas à pas, pour cet affinage complet et pour la méthode moins coûteuse que tu vas construire dans ce module.

Prédis d'abord : après 60 pas sur du code, la perte en anglais va-t-elle rester à peu près la même, ou monter ?

À ton tour

Affecte à my_guess "same" ou "rises". Remplis before et after avec adapt.losses(model) (perte en anglais, perte sur le code) autour de adapt.train(model, code_train, steps=60, batch=8).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.