Programme Leçon 159 sur 246 · Module 14 : Clinique des entraînements II
Module 14 : Clinique des entraînements II

La recette, pour les modèles de séquence

Pourquoi c'est important Les deux vérifications du module 8 (la perte au départ, mémoriser un lot) s'appliquent encore. Les modèles de séquence ajoutent de nouvelles façons d'échouer en silence, et deux vérifications bon marché attrapent les pires avant que tu dépenses le moindre calcul.

Le modèle de la clinique est un minuscule GPT : largeur 16, 2 blocs, 2 têtes, 16 caractères de contexte, 200 pas d'Adam sur le texte du cours. Il s'entraîne en une ou deux secondes, donc tu peux te permettre de sonder.

Vérification 1 : la perte de départ

Un modèle tout neuf avec de petits poids répartit ses suppositions uniformément sur les V caractères, donc sa perte vaut ln(V). Pour 95 caractères, ça fait 4.55. Bien au-dessus, ça veut dire que quelque chose est mal mis à l'échelle ; bien en dessous, ça veut dire que le modèle reçoit une aide qu'il ne devrait pas avoir.

Vérification 2 : pas de triche

Change le dernier caractère d'une entrée. Si une prédiction pour une position antérieure change, le modèle peut voir le futur (module 13), et chaque nombre d'entraînement que tu obtiens est trop beau pour être vrai.

SondeCe qu'elle te ditEntraînement sain
loss_curve(c)La perte d'entraînement tous les 25 pas, et la perte sur du texte inconnu à la fin. Regarde toujours ça en premier.de 4.55 jusqu'à environ 2.9 ; texte inconnu environ 3.0
loss_at_init(c)La perte avant l'entraînement. Un modèle tout neuf qui devine uniformément sur 95 caractères donne ln(95).4.55
leak_check(c)Un caractère ultérieur peut-il changer une prédiction antérieure ?False
show_batch(c)Une entrée d'entraînement et sa cible, sous forme de texte.cible = entrée décalée d'un caractère vers la gauche
update_ratio(c)Après le premier pas d'Adam, de combien les poids ont bougé par rapport à leur taille. Ce n'est pas la règle du module 8 : l'intervalle 0.001 à 0.1 vaut pour des pas de SGD simple. Le premier pas d'Adam déplace chaque poids d'environ le taux d'apprentissage quel que soit son gradient, et ces poids commencent près de 0.02, donc 0.01 / 0.02 donne environ 0.5. Compare un cas avec cet entraînement sain, pas avec l'intervalle du module 8.environ 0.5
block_change(c)De combien le premier bloc change chaque vecteur au départ.environ 0.3
Mots et symboles de cette leçon
ln(V)
la perte de départ d'un modèle qui devine uniformément sur V symboles : 4.55 pour 95 caractères
trop beau pour être vrai
une perte d'entraînement bien meilleure que celle d'un entraînement sain, une perte sur texte inconnu bien pire
changement de bloc
de combien un bloc change un vecteur au départ ; près de 1 veut dire qu'il l'a remplacé
À ton tour

Écris expected_start(V) et my_leak_check(c), avec les propres _init, _logits et DATA de la clinique. Ils doivent s'accorder avec les sondes de la clinique.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.