La recette : deux vérifications avant toute chose
Pourquoi c'est important La plupart des entraînements cassés peuvent être attrapés en une minute par deux vérifications bon marché, avant de passer une heure à entraîner.
Les praticiens expérimentés démarrent chaque nouvelle configuration de la même façon :
- Vérifier la perte au départ. Avant l'entraînement, un modèle à 10 classes qui ne sait rien donne environ 0.1 à chaque classe, donc sa perte doit valoir environ -ln(0.1) = 2.30. Bien au-dessus, ça veut dire que quelque chose est mal mis à l'échelle. Bien en dessous, ça veut dire que la réponse atteint le modèle par ses entrées. Toutes les fuites ne se voient pas ici : quand des images de validation sont aussi dans le jeu d'entraînement, la perte de départ est normale (l'entraînement sain de cette clinique et son cas de fuite commencent tous deux à 2.46), et seul un score de validation trop beau la trahit.
- Surapprendre un lot. Entraîne sur un seul petit lot pendant quelques centaines de pas. N'importe quel modèle et boucle d'entraînement qui marchent peuvent mémoriser 32 exemples et faire tomber la perte près de zéro. Si ça n'y arrive pas, le bogue est dans le modèle, la perte ou les gradients, et tu l'as trouvé sans toucher aux données complètes.
- Seulement ensuite, passe à l'entraînement complet.
Cette clinique est un petit classifieur de chiffres que tu peux casser exprès. config(**changes) crée une configuration ; train(c) l'exécute.
| Sonde | Ce qu'elle te dit |
|---|---|
loss_curve(c) | La perte d'entraînement tous les 50 pas et la justesse de validation finale. Regarde toujours ça en premier. |
loss_at_init(c) | La perte avant l'entraînement. Un modèle à 10 classes tout neuf doit être près de ln(10) = 2.30. |
overfit_one_batch(c) | Peut-il mémoriser 32 exemples ? Une configuration saine arrive près de 0. |
grad_norms(c) | La taille du gradient par matrice de poids au départ. Zéro veut dire que rien ne peut apprendre. |
update_ratio(c) | La taille du pas de SGD simple par rapport à la taille des poids. Sain, c'est environ 0.001 à 0.1 (une règle empirique pour la SGD simple ; le module 14 montre pourquoi Adam diffère). |
act_stats(c) | Les activations cachées : moyenne, plus grande valeur, part d'unités mortes. |
lr_schedule(c) | Le taux d'apprentissage aux pas 0, 50, 100 et ainsi de suite. |
batch_labels(c) | Les étiquettes des quelques premiers lots. |
overlap(c) | Combien d'exemples de validation apparaissent aussi dans l'entraînement. |
Mots et symboles de cette leçon
- sonde
- une mesure rapide d'un entraînement, comme la taille des gradients ou les unités mortes
- surapprendre un lot
- vérifier qu'une configuration peut mémoriser quelques exemples
Écris sanity(c) qui renvoie un dictionnaire avec init_ok (la perte au départ à moins de 0.3 de 2.30) et can_overfit (la perte en surapprenant un lot inférieure à 0.1), avec les sondes. Applique-la à la configuration saine et à suspect.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.