Tes propres sondes
Pourquoi c'est important Les sondes sont la façon de voir à l'intérieur d'un entraînement. Les écrire toi-même veut dire que tu sauras ce que veulent dire les nombres quand un outil te les montrera.
Trois sondes font l'essentiel du travail :
- Taille du gradient par couche : la longueur (norme) du gradient de chaque matrice de poids. Toutes à zéro : rien n'apprend. Très différentes d'une couche à l'autre : une couche est affamée.
- Part de mortes : la fraction des unités cachées qui sortent zéro pour chaque exemple d'un lot.
- Rapport mise à jour sur poids : le taux d'apprentissage fois la taille du gradient, divisé par la taille des poids. Il dit quelle fraction de chaque poids un pas change. Environ 0.001 à 0.1, c'est sain ; près de 1 veut dire que chaque pas réécrit les poids ; près de 0 veut dire que rien ne bouge.
Le banc d'essai expose ses rouages : _data(c) donne les données d'entraînement, _init(c) les poids de départ, et _fb(p, X, y, c) renvoie (perte, gradients, activations cachées).
Mots et symboles de cette leçon
- sonde
- une mesure rapide d'un entraînement, comme la taille des gradients ou les unités mortes
- rapport mise à jour sur poids
- à quel point un pas change chaque poids, par rapport à sa taille
Écris my_grad_norms(c), my_dead_share(c) et my_update_ratio(c) avec les 256 premiers exemples d'entraînement et les poids de départ. Elles doivent correspondre aux sondes de la clinique.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.