Programme Leçon 153 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Entraîner un minuscule GPT, en direct

Pourquoi c'est important Tout se rejoint : embeddings, positions, attention multi-têtes masquée, résiduels et normalisations de couche, entraînés avec Adam sur la prédiction du caractère suivant. Sur ton propre processeur, en quelques secondes.

Largeur 32, 2 blocs, 4 têtes, 32 caractères de contexte : environ 29 000 paramètres. 150 pas de 16 extraits chacun, quelques secondes sur un portable. Prédis la courbe : la perte au départ et après 150 pas. (Une supposition uniforme sur 95 caractères vaut ln 95 = 4.55.)

Puis échantillonne à partir de lui. Après 150 pas, il fait une soupe de lettres avec des espaces à peu près aux bons endroits ; le modèle enregistré de largeur 64, entraîné pendant 2 000 pas, écrit un texte qui a la forme de mots. Le même code, plus de calcul.

Mots et symboles de cette leçon
attention
le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
tête
une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
normalisation de couche
normaliser chaque vecteur séparément : moyenne 0, dispersion 1, puis fois g plus b
À ton tour

Remplis my_guess, puis entraîne avec model.train (150 pas, taux d'apprentissage 0.003, lot 16) sur corpus.TEXT et garde l'historique dans hist. L'appel est hist = model.train(text, steps=..., lr=..., batch=...) ; il renvoie un dictionnaire dont hist['loss'] est la perte d'entraînement notée tous les 20 pas (et au dernier pas), et model.generate(prompt, n, temperature) écrit du texte ensuite. (help(model.train) affiche aussi ça.) La moyenne des 5 dernières pertes notées doit être inférieure à 2.85.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.