Programme Leçon 95 sur 246 · Module 8 : Clinique des entraînements I
Module 8 : Clinique des entraînements I

Tes propres sondes

Pourquoi c'est important Les sondes sont la façon de voir à l'intérieur d'un entraînement. Les écrire toi-même veut dire que tu sauras ce que veulent dire les nombres quand un outil te les montrera.

Trois sondes font l'essentiel du travail :

  • Taille du gradient par couche : la longueur (norme) du gradient de chaque matrice de poids. Toutes à zéro : rien n'apprend. Très différentes d'une couche à l'autre : une couche est affamée.
  • Part de mortes : la fraction des unités cachées qui sortent zéro pour chaque exemple d'un lot.
  • Rapport mise à jour sur poids : le taux d'apprentissage fois la taille du gradient, divisé par la taille des poids. Il dit quelle fraction de chaque poids un pas change. Environ 0.001 à 0.1, c'est sain ; près de 1 veut dire que chaque pas réécrit les poids ; près de 0 veut dire que rien ne bouge.

Le banc d'essai expose ses rouages : _data(c) donne les données d'entraînement, _init(c) les poids de départ, et _fb(p, X, y, c) renvoie (perte, gradients, activations cachées).

Mots et symboles de cette leçon
sonde
une mesure rapide d'un entraînement, comme la taille des gradients ou les unités mortes
rapport mise à jour sur poids
à quel point un pas change chaque poids, par rapport à sa taille
À ton tour

Écris my_grad_norms(c), my_dead_share(c) et my_update_ratio(c) avec les 256 premiers exemples d'entraînement et les poids de départ. Elles doivent correspondre aux sondes de la clinique.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.