Programme Leçon 158 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Examen de passage : un transformer cassé (IA éteinte)

Pourquoi c'est important C'est toute une passe avant de GPT écrite avec le moteur du cours, et elle a deux pannes. Les deux sont classiques, et chacune seule a trompé de vraies équipes.

Tuteur IA éteint. Une panne laisse le modèle voir des caractères qu'il est censé prédire. L'autre rend la pile bien plus difficile à entraîner. Trouve et corrige les deux.

Mots et symboles de cette leçon
requête, clé, valeur
ce que cherche une position ; ce que chaque position propose pour la correspondance ; ce qu'elle remet
tête
une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
À ton tour

Corrige logits. Changer un caractère ne doit changer aucune prédiction pour les positions précédentes, et après 200 pas, la perte moyenne sur les 20 derniers pas doit être inférieure à 2.65.

IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.