Programme Leçon 96 sur 246 · Module 8 : Clinique des entraînements I
Module 8 : Clinique des entraînements I

Clinique : pannes du taux d'apprentissage

Pourquoi c'est important Le taux d'apprentissage est la cause la plus courante d'un mauvais entraînement. Chaque sorte d'erreur laisse une marque différente.

Trop haut : les pas dépassent, la perte saute ou grimpe, et le rapport mise à jour sur poids est proche de 1 ou au-dessus. Trop bas : presque rien ne bouge, la perte reste près de 2.30 et le rapport est minuscule. Baissé trop tôt : l'entraînement apprend un moment, puis cesse de s'améliorer : à partir de là, la perte ne fait qu'osciller d'un lot à l'autre autour d'un niveau médiocre (ici entre environ 1.1 et 1.5) ; le calendrier montre le taux qui s'effondre.

Chaque cas ci-dessous est un entraînement où une panne a été plantée. Pour chacun : dépense des sondes pour trouver la panne, puis écris une correction sous forme de changements de config. Les pannes de cette leçon : lr_too_high, lr_too_low, lr_dropped_early. Moins de sondes, c'est mieux ; un bon diagnosticien a rarement besoin de plus de deux par cas.

SondeCe qu'elle te dit
loss_curve(c)La perte d'entraînement tous les 50 pas et la justesse de validation finale. Regarde toujours ça en premier.
loss_at_init(c)La perte avant l'entraînement. Un modèle à 10 classes tout neuf doit être près de ln(10) = 2.30.
overfit_one_batch(c)Peut-il mémoriser 32 exemples ? Une configuration saine arrive près de 0.
grad_norms(c)La taille du gradient par matrice de poids au départ. Zéro veut dire que rien ne peut apprendre.
update_ratio(c)La taille du pas de SGD simple par rapport à la taille des poids. Sain, c'est environ 0.001 à 0.1 (une règle empirique pour la SGD simple ; le module 14 montre pourquoi Adam diffère).
act_stats(c)Les activations cachées : moyenne, plus grande valeur, part d'unités mortes.
lr_schedule(c)Le taux d'apprentissage aux pas 0, 50, 100 et ainsi de suite.
batch_labels(c)Les étiquettes des quelques premiers lots.
overlap(c)Combien d'exemples de validation apparaissent aussi dans l'entraînement.
Mots et symboles de cette leçon
sonde
une mesure rapide d'un entraînement, comme la taille des gradients ou les unités mortes
rapport mise à jour sur poids
à quel point un pas change chaque poids, par rapport à sa taille
À ton tour

Remplis diagnosis (du cas vers le nom de la panne) et fixes (du cas vers un dictionnaire de changements de config) pour les cas A, B et C. Une correction doit supprimer la panne et entraîner jusqu'à au moins 90 % de justesse de validation.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.