Programme Leçon 161 sur 246 · Module 14 : Clinique des entraînements II
Module 14 : Clinique des entraînements II

Clinique : taille du pas et poids de départ

Pourquoi c'est important Les pannes de taux d'apprentissage et d'échelle du module 8 reviennent, avec les empreintes d'Adam dessus.

Avec Adam, chaque poids bouge d'environ le taux d'apprentissage au premier pas, quel que soit son gradient. Donc le rapport de mise à jour est une lecture directe de la taille du pas : environ 0.5 dans l'entraînement sain (0.01 contre des poids proches de 0.02), environ 15 quand le taux est bien trop élevé (la perte titube alors), et environ 0.0005 quand il est bien trop bas (la perte quitte à peine 4.55). Des poids de départ bien trop grands rendent les toutes premières prédictions follement confiantes et fausses : la perte de départ est bien au-dessus de 4.55.

Chaque cas ci-dessous est un entraînement où une panne a été plantée. Pour chacun : dépense des sondes pour trouver la panne, puis écris une correction sous forme de changements de config qui ramènent l'entraînement à l'état sain. Les pannes de cette leçon : lr_too_high, lr_too_low, init_too_big. Un bon diagnosticien a rarement besoin de plus de deux sondes par cas.

SondeCe qu'elle te ditEntraînement sain
loss_curve(c)La perte d'entraînement tous les 25 pas, et la perte sur du texte inconnu à la fin. Regarde toujours ça en premier.de 4.55 jusqu'à environ 2.9 ; texte inconnu environ 3.0
loss_at_init(c)La perte avant l'entraînement. Un modèle tout neuf qui devine uniformément sur 95 caractères donne ln(95).4.55
leak_check(c)Un caractère ultérieur peut-il changer une prédiction antérieure ?False
show_batch(c)Une entrée d'entraînement et sa cible, sous forme de texte.cible = entrée décalée d'un caractère vers la gauche
update_ratio(c)Après le premier pas d'Adam, de combien les poids ont bougé par rapport à leur taille. Ce n'est pas la règle du module 8 : l'intervalle 0.001 à 0.1 vaut pour des pas de SGD simple. Le premier pas d'Adam déplace chaque poids d'environ le taux d'apprentissage quel que soit son gradient, et ces poids commencent près de 0.02, donc 0.01 / 0.02 donne environ 0.5. Compare un cas avec cet entraînement sain, pas avec l'intervalle du module 8.environ 0.5
block_change(c)De combien le premier bloc change chaque vecteur au départ.environ 0.3
Mots et symboles de cette leçon
ln(V)
la perte de départ d'un modèle qui devine uniformément sur V symboles : 4.55 pour 95 caractères
changement de bloc
de combien un bloc change un vecteur au départ ; près de 1 veut dire qu'il l'a remplacé
À ton tour

Remplis diagnosis (du cas vers le nom de la panne) et fixes (du cas vers un dictionnaire de changements de config) pour les cas A, B et C. Après ta correction, chaque réglage doit correspondre à l'entraînement sain.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.