Examen de passage : une nouvelle tâche avec un budget (IA éteinte)
Pourquoi c'est important Le vrai travail d'adaptation a un objectif, un budget et quelque chose que tu ne dois pas casser. Les trois, à la fois, seul.
Règles de l'examen : tuteur IA éteint. Adapte le GPT enregistré au code Python avec au plus 60 pas d'entraînement de 8 fenêtres chacun. Les objectifs sur une nouvelle exécution (nouvelle graine) :
- une perte sur le code mis de côté d'au plus 2.43 (la base obtient 3.25) ;
- une perte en anglais mis de côté d'au plus 2.00 (la base obtient 1.70) ;
Affecte plan : la méthode "full" ou "lora", le rang (pour LoRA, de 1 à 64), les pas et le taux d'apprentissage. La vérification entraîne ton plan une fois sur une nouvelle graine.
Mots et symboles de cette leçon
- LoRA
- adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
- rang (r)
- à quel point les deux matrices de LoRA sont fines : (d_in + d_out) × r poids entraînables par matrice
Remplis plan.
IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.