Programme Leçon 160 sur 246 · Module 14 : Clinique des entraînements II
Module 14 : Clinique des entraînements II

Clinique : trop beau, ou trop bloqué

Pourquoi c'est important Les entraînements les plus dangereux sont ceux qui ont l'air excellents. Un modèle qui peut voir ses réponses affiche une perte d'entraînement merveilleuse et ne sert à rien.

Pas de masque : le modèle peut jeter un œil au caractère suivant, donc sa perte d'entraînement descend plus bas que celle d'un entraînement sain, alors que sa perte sur du texte inconnu (mesurée honnêtement, à partir des seuls caractères précédents) est bien pire. Cibles non décalées : la cible est l'entrée elle-même, donc le modèle apprend à recopier le caractère qu'il regarde. La perte d'entraînement file vers presque 0, et sur du texte inconnu elle est terrible. Pas de résiduel : chaque bloc remplace h au lieu de s'y ajouter, donc la pile est difficile à entraîner et la perte cale tôt.

Chaque cas ci-dessous est un entraînement où une panne a été plantée. Pour chacun : dépense des sondes pour trouver la panne, puis écris une correction sous forme de changements de config qui ramènent l'entraînement à l'état sain. Les pannes de cette leçon : no_mask, targets_not_shifted, no_residual. Un bon diagnosticien a rarement besoin de plus de deux sondes par cas.

SondeCe qu'elle te ditEntraînement sain
loss_curve(c)La perte d'entraînement tous les 25 pas, et la perte sur du texte inconnu à la fin. Regarde toujours ça en premier.de 4.55 jusqu'à environ 2.9 ; texte inconnu environ 3.0
loss_at_init(c)La perte avant l'entraînement. Un modèle tout neuf qui devine uniformément sur 95 caractères donne ln(95).4.55
leak_check(c)Un caractère ultérieur peut-il changer une prédiction antérieure ?False
show_batch(c)Une entrée d'entraînement et sa cible, sous forme de texte.cible = entrée décalée d'un caractère vers la gauche
update_ratio(c)Après le premier pas d'Adam, de combien les poids ont bougé par rapport à leur taille. Ce n'est pas la règle du module 8 : l'intervalle 0.001 à 0.1 vaut pour des pas de SGD simple. Le premier pas d'Adam déplace chaque poids d'environ le taux d'apprentissage quel que soit son gradient, et ces poids commencent près de 0.02, donc 0.01 / 0.02 donne environ 0.5. Compare un cas avec cet entraînement sain, pas avec l'intervalle du module 8.environ 0.5
block_change(c)De combien le premier bloc change chaque vecteur au départ.environ 0.3
Mots et symboles de cette leçon
ln(V)
la perte de départ d'un modèle qui devine uniformément sur V symboles : 4.55 pour 95 caractères
changement de bloc
de combien un bloc change un vecteur au départ ; près de 1 veut dire qu'il l'a remplacé
À ton tour

Remplis diagnosis (du cas vers le nom de la panne) et fixes (du cas vers un dictionnaire de changements de config) pour les cas A, B et C. Après ta correction, chaque réglage doit correspondre à l'entraînement sain.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.