Programme Leçon 100 sur 246 · Module 8 : Clinique des entraînements I
Module 8 : Clinique des entraînements I

Faire confiance à l'assistant ?

Pourquoi c'est important Les assistants IA diagnostiqueront volontiers tes entraînements. Ils ont souvent raison et parfois tort avec aplomb. La compétence, c'est de savoir lequel des deux, en s'appuyant sur des preuves plutôt que sur le ton.

Un assistant IA a regardé dix entraînements cassés et nommé une panne pour chacun. Environ un tiers de ses réponses sont fausses, et elles sonnent exactement aussi sûres que les justes. Pour chaque cas, décide : accepter ou rejeter. Fonde chaque décision sur une sonde, pas sur la plausibilité de l'affirmation.

Ton score est la justesse des verdicts : combien de fois ton acceptation ou ton rejet correspondait à la vérité. (Ce n'est pas la calibration, que définit le module 9 : si la confiance correspond à la fréquence à laquelle tu as raison.) Méfie-toi des affirmations qui collent à certains symptômes mais pas au symptôme décisif : une perte qui cale pourrait venir d'un taux d'apprentissage trop bas, ou d'un taux qui allait bien puis a été baissé.

SondeCe qu'elle te dit
loss_curve(c)La perte d'entraînement tous les 50 pas et la justesse de validation finale. Regarde toujours ça en premier.
loss_at_init(c)La perte avant l'entraînement. Un modèle à 10 classes tout neuf doit être près de ln(10) = 2.30.
overfit_one_batch(c)Peut-il mémoriser 32 exemples ? Une configuration saine arrive près de 0.
grad_norms(c)La taille du gradient par matrice de poids au départ. Zéro veut dire que rien ne peut apprendre.
update_ratio(c)La taille du pas de SGD simple par rapport à la taille des poids. Sain, c'est environ 0.001 à 0.1 (une règle empirique pour la SGD simple ; le module 14 montre pourquoi Adam diffère).
act_stats(c)Les activations cachées : moyenne, plus grande valeur, part d'unités mortes.
lr_schedule(c)Le taux d'apprentissage aux pas 0, 50, 100 et ainsi de suite.
batch_labels(c)Les étiquettes des quelques premiers lots.
overlap(c)Combien d'exemples de validation apparaissent aussi dans l'entraînement.
Mots et symboles de cette leçon
sonde
une mesure rapide d'un entraînement, comme la taille des gradients ou les unités mortes
justesse des verdicts
combien de fois ton acceptation ou ton rejet d'une affirmation correspondait à la vérité
À ton tour

Pour chaque cas de A à J, affecte à verdicts[case] True (l'assistant a raison) ou False. Il te faut au moins 9 sur 10 justes.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.