Entraîner un minuscule GPT, en direct
Pourquoi c'est important Tout se rejoint : embeddings, positions, attention multi-têtes masquée, résiduels et normalisations de couche, entraînés avec Adam sur la prédiction du caractère suivant. Sur ton propre processeur, en quelques secondes.
Largeur 32, 2 blocs, 4 têtes, 32 caractères de contexte : environ 29 000 paramètres. 150 pas de 16 extraits chacun, quelques secondes sur un portable. Prédis la courbe : la perte au départ et après 150 pas. (Une supposition uniforme sur 95 caractères vaut ln 95 = 4.55.)
Puis échantillonne à partir de lui. Après 150 pas, il fait une soupe de lettres avec des espaces à peu près aux bons endroits ; le modèle enregistré de largeur 64, entraîné pendant 2 000 pas, écrit un texte qui a la forme de mots. Le même code, plus de calcul.
Mots et symboles de cette leçon
- attention
- le softmax des scores requête-clé, utilisé pour faire la moyenne des valeurs
- tête
- une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
- normalisation de couche
- normaliser chaque vecteur séparément : moyenne 0, dispersion 1, puis fois g plus b
Remplis my_guess, puis entraîne avec model.train (150 pas, taux d'apprentissage 0.003, lot 16) sur corpus.TEXT et garde l'historique dans hist. L'appel est hist = model.train(text, steps=..., lr=..., batch=...) ; il renvoie un dictionnaire dont hist['loss'] est la perte d'entraînement notée tous les 20 pas (et au dernier pas), et model.generate(prompt, n, temperature) écrit du texte ensuite. (help(model.train) affiche aussi ça.) La moyenne des 5 dernières pertes notées doit être inférieure à 2.85.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.