Un petit CNN sur des chiffres
Pourquoi c'est important C'est l'idée de LeNet en 1998 : convolution, pooling, convolution, pooling, puis un classifieur. Construis-le à partir des couches du cours que tu as méritées et vois-le battre le MLP sur les chiffres décalés.
La bibliothèque du cours nnsim.engine a les couches que tu as construites : conv (3 par 3, padding same), relu, pool2 (moyenne de 2 par 2), gap (pooling moyen global), matmul, cross_entropy et Adam. Un poids de conv pour des filtres de 3 par 3 de C_in vers C_out canaux a la forme (9 * C_in, C_out).
La bibliothèque du cours, en une fiche (garde-la sous la main pour le reste du cours ; print(E.GUIDE) la réaffiche dans n'importe quelle leçon)
E.T(array)enveloppe des nombres sous forme de tenseur..dataest le tableau (float32) ;.gradvautNonetant quebackward()ne l'atteint pas.loss.backward()remplit.gradsur chaque tenseur dont dépend la perte.opt = E.Adam(params, lr)prend une liste de tenseurs.opt.step()met à jour chacun de ceux qui ont un gradient puis remet son.gradàNone, donc tu ne remets jamais les gradients à zéro toi-même.- Les images ont les canaux en dernier : (lot, lignes, colonnes, canaux).
E.conv(x, w)garde la taille (padding same) et transforme C canaux en F avecwde forme (9 * C, F).E.pool2divise par deux les lignes et les colonnes ;E.gapen fait la moyenne pour les faire disparaître, ce qui donne (lot, canaux). E.cross_entropy(logits, y): les logits (lot, classes) sous forme de tenseur, y un simple tableau d'entiers. Elle renvoie un tenseur qui contient un seul nombre ;float(loss.data)le lit.- Toute une étape d'entraînement tient en trois lignes :
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step(). - Les entraînements enregistrés :
print(R.experiment(name))liste ses réglages et les noms de ses métriques ;run = exp.run(setting=value, ...), puisrun.loss(des paires de pas et de perte),run.metrics(un dictionnaire) etrun.final_loss.
Prédis la courbe avec le graphique : devine la perte d'entraînement après l'époque 1 et après l'époque 8 (la dernière).
Mots et symboles de cette leçon
- convolution
- faire glisser une petite grille de poids (un filtre) sur une image, un produit scalaire par position
- filtre, carte de caractéristiques
- la petite grille de poids apprise ; et l'image de ses réponses
- padding (p), stride (s)
- les zéros ajoutés autour du bord ; de combien de pixels le filtre se déplace à chaque pas
- pooling
- rétrécir une carte en gardant le max ou la moyenne de chaque bloc
- RECORDED
- un vrai entraînement que le cours a fait une fois et fournit pour que tu l'étudies
Remplis my_guess, puis écris train(epochs, seed) qui renvoie une fonction predict(X). Utilise conv(1 vers 16) + relu, conv(16 vers 32) + relu, un pooling moyen global, puis une couche linéaire vers 10 classes. Atteins au moins 90 % sur les chiffres de test, et au moins 60 % sur les chiffres de test décalés de 2 pixels (où le MLP obtenait environ 21 %). Le score décalé bouge beaucoup d'une graine à l'autre (la réponse du cours obtient de 0.76 à 0.89 sur cinq graines), donc la barre est bien en dessous. Adam avec un taux d'apprentissage d'environ 1e-2 marche ici ; avec 3e-3, ce petit réseau apprend trop lentement pour la leçon.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.