Clinique : taille du pas et poids de départ
Pourquoi c'est important Les pannes de taux d'apprentissage et d'échelle du module 8 reviennent, avec les empreintes d'Adam dessus.
Avec Adam, chaque poids bouge d'environ le taux d'apprentissage au premier pas, quel que soit son gradient. Donc le rapport de mise à jour est une lecture directe de la taille du pas : environ 0.5 dans l'entraînement sain (0.01 contre des poids proches de 0.02), environ 15 quand le taux est bien trop élevé (la perte titube alors), et environ 0.0005 quand il est bien trop bas (la perte quitte à peine 4.55). Des poids de départ bien trop grands rendent les toutes premières prédictions follement confiantes et fausses : la perte de départ est bien au-dessus de 4.55.
Chaque cas ci-dessous est un entraînement où une panne a été plantée. Pour chacun : dépense des sondes pour trouver la panne, puis écris une correction sous forme de changements de config qui ramènent l'entraînement à l'état sain. Les pannes de cette leçon : lr_too_high, lr_too_low, init_too_big. Un bon diagnosticien a rarement besoin de plus de deux sondes par cas.
| Sonde | Ce qu'elle te dit | Entraînement sain |
|---|---|---|
loss_curve(c) | La perte d'entraînement tous les 25 pas, et la perte sur du texte inconnu à la fin. Regarde toujours ça en premier. | de 4.55 jusqu'à environ 2.9 ; texte inconnu environ 3.0 |
loss_at_init(c) | La perte avant l'entraînement. Un modèle tout neuf qui devine uniformément sur 95 caractères donne ln(95). | 4.55 |
leak_check(c) | Un caractère ultérieur peut-il changer une prédiction antérieure ? | False |
show_batch(c) | Une entrée d'entraînement et sa cible, sous forme de texte. | cible = entrée décalée d'un caractère vers la gauche |
update_ratio(c) | Après le premier pas d'Adam, de combien les poids ont bougé par rapport à leur taille. Ce n'est pas la règle du module 8 : l'intervalle 0.001 à 0.1 vaut pour des pas de SGD simple. Le premier pas d'Adam déplace chaque poids d'environ le taux d'apprentissage quel que soit son gradient, et ces poids commencent près de 0.02, donc 0.01 / 0.02 donne environ 0.5. Compare un cas avec cet entraînement sain, pas avec l'intervalle du module 8. | environ 0.5 |
block_change(c) | De combien le premier bloc change chaque vecteur au départ. | environ 0.3 |
Mots et symboles de cette leçon
- ln(V)
- la perte de départ d'un modèle qui devine uniformément sur V symboles : 4.55 pour 95 caractères
- changement de bloc
- de combien un bloc change un vecteur au départ ; près de 1 veut dire qu'il l'a remplacé
Remplis diagnosis (du cas vers le nom de la panne) et fixes (du cas vers un dictionnaire de changements de config) pour les cas A, B et C. Après ta correction, chaque réglage doit correspondre à l'entraînement sain.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.