Apprendre du nouveau, oublier l'ancien
Pourquoi c'est important Chaque modèle utile est adapté : aux documents d'une entreprise, à un style de code, à une langue. La façon évidente, continuer à entraîner sur les nouvelles données, a un coût que personne ne voit avant qu'il soit trop tard : le modèle empire sur ce qu'il savait.
Le GPT enregistré du cours a appris l'anglais à partir du texte des leçons du cours. Son nouveau travail : le code Python, tiré des solutions détaillées du cours Python. Avant l'entraînement, il obtient 1.70 sur de l'anglais mis de côté et 3.25 sur du code mis de côté (il a à peine vu du code).
Entraîne chaque poids sur du code pendant 60 pas de 8 fenêtres (le maximum qui tient dans une leçon dans le navigateur) et mesure à nouveau les deux. Regarde d'abord la scène : les deux pertes, pas à pas, pour cet affinage complet et pour la méthode moins coûteuse que tu vas construire dans ce module.
Prédis d'abord : après 60 pas sur du code, la perte en anglais va-t-elle rester à peu près la même, ou monter ?
Affecte à my_guess "same" ou "rises". Remplis before et after avec adapt.losses(model) (perte en anglais, perte sur le code) autour de adapt.train(model, code_train, steps=60, batch=8).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.