Programme Leçon 119 sur 246 · Module 10 : Des réseaux qui voient (CNN)
Module 10 : Des réseaux qui voient (CNN)

Un petit CNN sur des chiffres

Pourquoi c'est important C'est l'idée de LeNet en 1998 : convolution, pooling, convolution, pooling, puis un classifieur. Construis-le à partir des couches du cours que tu as méritées et vois-le battre le MLP sur les chiffres décalés.

La bibliothèque du cours nnsim.engine a les couches que tu as construites : conv (3 par 3, padding same), relu, pool2 (moyenne de 2 par 2), gap (pooling moyen global), matmul, cross_entropy et Adam. Un poids de conv pour des filtres de 3 par 3 de C_in vers C_out canaux a la forme (9 * C_in, C_out).

La bibliothèque du cours, en une fiche (garde-la sous la main pour le reste du cours ; print(E.GUIDE) la réaffiche dans n'importe quelle leçon)

  • E.T(array) enveloppe des nombres sous forme de tenseur. .data est le tableau (float32) ; .grad vaut None tant que backward() ne l'atteint pas.
  • loss.backward() remplit .grad sur chaque tenseur dont dépend la perte.
  • opt = E.Adam(params, lr) prend une liste de tenseurs. opt.step() met à jour chacun de ceux qui ont un gradient puis remet son .grad à None, donc tu ne remets jamais les gradients à zéro toi-même.
  • Les images ont les canaux en dernier : (lot, lignes, colonnes, canaux). E.conv(x, w) garde la taille (padding same) et transforme C canaux en F avec w de forme (9 * C, F). E.pool2 divise par deux les lignes et les colonnes ; E.gap en fait la moyenne pour les faire disparaître, ce qui donne (lot, canaux).
  • E.cross_entropy(logits, y) : les logits (lot, classes) sous forme de tenseur, y un simple tableau d'entiers. Elle renvoie un tenseur qui contient un seul nombre ; float(loss.data) le lit.
  • Toute une étape d'entraînement tient en trois lignes : loss = E.cross_entropy(forward(Xb), yb), loss.backward(), opt.step().
  • Les entraînements enregistrés : print(R.experiment(name)) liste ses réglages et les noms de ses métriques ; run = exp.run(setting=value, ...), puis run.loss (des paires de pas et de perte), run.metrics (un dictionnaire) et run.final_loss.

Prédis la courbe avec le graphique : devine la perte d'entraînement après l'époque 1 et après l'époque 8 (la dernière).

Mots et symboles de cette leçon
convolution
faire glisser une petite grille de poids (un filtre) sur une image, un produit scalaire par position
filtre, carte de caractéristiques
la petite grille de poids apprise ; et l'image de ses réponses
padding (p), stride (s)
les zéros ajoutés autour du bord ; de combien de pixels le filtre se déplace à chaque pas
pooling
rétrécir une carte en gardant le max ou la moyenne de chaque bloc
RECORDED
un vrai entraînement que le cours a fait une fois et fournit pour que tu l'étudies
À ton tour

Remplis my_guess, puis écris train(epochs, seed) qui renvoie une fonction predict(X). Utilise conv(1 vers 16) + relu, conv(16 vers 32) + relu, un pooling moyen global, puis une couche linéaire vers 10 classes. Atteins au moins 90 % sur les chiffres de test, et au moins 60 % sur les chiffres de test décalés de 2 pixels (où le MLP obtenait environ 21 %). Le score décalé bouge beaucoup d'une graine à l'autre (la réponse du cours obtient de 0.76 à 0.89 sur cinq graines), donc la barre est bien en dessous. Adam avec un taux d'apprentissage d'environ 1e-2 marche ici ; avec 3e-3, ce petit réseau apprend trop lentement pour la leçon.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.