Examen de passage : un transformer cassé (IA éteinte)
Pourquoi c'est important C'est toute une passe avant de GPT écrite avec le moteur du cours, et elle a deux pannes. Les deux sont classiques, et chacune seule a trompé de vraies équipes.
Tuteur IA éteint. Une panne laisse le modèle voir des caractères qu'il est censé prédire. L'autre rend la pile bien plus difficile à entraîner. Trouve et corrige les deux.
Mots et symboles de cette leçon
- requête, clé, valeur
- ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
- tête
- une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
Corrige logits. Changer un caractère ne doit changer aucune prédiction pour les positions précédentes, et après 200 pas, la perte moyenne sur les 20 derniers pas doit être inférieure à 2.65.
IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.