Programme Leçon 217 sur 246 · Module 20 : Adapter un modèle entraîné à peu de frais
Module 20 : Adapter un modèle entraîné à peu de frais

Examen de passage : une nouvelle tâche avec un budget (IA éteinte)

Pourquoi c'est important Le vrai travail d'adaptation a un objectif, un budget et quelque chose que tu ne dois pas casser. Les trois, à la fois, seul.

Règles de l'examen : tuteur IA éteint. Adapte le GPT enregistré au code Python avec au plus 60 pas d'entraînement de 8 fenêtres chacun. Les objectifs sur une nouvelle exécution (nouvelle graine) :

  • une perte sur le code mis de côté d'au plus 2.43 (la base obtient 3.25) ;
  • une perte en anglais mis de côté d'au plus 2.00 (la base obtient 1.70) ;

Affecte plan : la méthode "full" ou "lora", le rang (pour LoRA, de 1 à 64), les pas et le taux d'apprentissage. La vérification entraîne ton plan une fois sur une nouvelle graine.

Mots et symboles de cette leçon
LoRA
adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
rang (r)
à quel point les deux matrices de LoRA sont fines : (d_in + d_out) × r poids entraînables par matrice
À ton tour

Remplis plan.

IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.