Examen de passage : trois entraînements cassés inédits (IA éteinte)
Pourquoi c'est important Diagnostiquer seul, avec un budget, c'est la compétence pour laquelle ce module existe.
Tuteur IA éteint. Trois entraînements, chacun avec une panne venant de n'importe où dans ce module. Ce sont de nouveaux entraînements, pas les cas d'entraînement : d'autres graines, une autre taille de lot, et des pannes d'autres tailles, donc les nombres dont tu te souviens de la pratique ne correspondront pas. Ton budget est de 9 sondes au total (entraîner un cas scellé compte pour une), comptées sur toutes les exécutions depuis l'ouverture de la page (répéter une sonde sur le même cas est gratuit ; un mauvais diagnostic ou une correction qui ne marche pas coûte une sonde).
Chaque cas ci-dessous est un entraînement où une panne a été plantée. Pour chacun : dépense des sondes pour trouver la panne, puis écris une correction sous forme de changements de config. Les pannes de cette leçon : any fault from this module (n'importe quelle panne de ce module). Moins de sondes, c'est mieux ; un bon diagnosticien a rarement besoin de plus de deux par cas.
| Sonde | Ce qu'elle te dit |
|---|---|
loss_curve(c) | La perte d'entraînement tous les 50 pas et la justesse de validation finale. Regarde toujours ça en premier. |
loss_at_init(c) | La perte avant l'entraînement. Un modèle à 10 classes tout neuf doit être près de ln(10) = 2.30. |
overfit_one_batch(c) | Peut-il mémoriser 32 exemples ? Une configuration saine arrive près de 0. |
grad_norms(c) | La taille du gradient par matrice de poids au départ. Zéro veut dire que rien ne peut apprendre. |
update_ratio(c) | La taille du pas de SGD simple par rapport à la taille des poids. Sain, c'est environ 0.001 à 0.1 (une règle empirique pour la SGD simple ; le module 14 montre pourquoi Adam diffère). |
act_stats(c) | Les activations cachées : moyenne, plus grande valeur, part d'unités mortes. |
lr_schedule(c) | Le taux d'apprentissage aux pas 0, 50, 100 et ainsi de suite. |
batch_labels(c) | Les étiquettes des quelques premiers lots. |
overlap(c) | Combien d'exemples de validation apparaissent aussi dans l'entraînement. |
Mots et symboles de cette leçon
- sonde
- une mesure rapide d'un entraînement, comme la taille des gradients ou les unités mortes
Remplis diagnosis (du cas vers le nom de la panne) et fixes (du cas vers un dictionnaire de changements de config) pour les cas A, B et C. Une correction doit supprimer la panne et entraîner jusqu'à au moins 90 % de justesse de validation.
IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.