Programme Leçon 49 sur 246 · Module 3 : Du neurone au MLP
Module 3 : Du neurone au MLP

Un lecteur de chiffres en NumPy simple

Pourquoi c'est important C'est un vrai réseau de neurones qui lit une vraie écriture manuscrite, avec chaque ligne écrite par toi. C'est le premier réseau classique, construit sans bibliothèque.

Les données, ce sont 1 797 chiffres manuscrits, chacun une image de 8 par 8 aplatie en 64 nombres (un petit cousin en basse résolution du célèbre ensemble MNIST en 28 par 28, venant d'une autre collection). Le réseau est celui de la leçon précédente : 64 entrées, une couche cachée de 64 neurones ReLU, et 10 sorties.

La boucle d'entraînement

  1. Démarre les poids petits et aléatoires : rng.normal(0, 0.1, shape), les biais à zéro.
  2. À chaque époque, mélange les données d'entraînement et parcours-les par mini-lots de 32.
  3. Pour chaque mini-lot, exécute forward_backward et fais faire à chaque poids un pas contre son gradient.

Mini-lot : une petite tranche aléatoire des données utilisée pour une étape. C'est bien plus rapide que d'utiliser toutes les données à chaque étape, et le bruit aide même.

Prédis la courbe : devine la perte d'entraînement après l'époque 1 et après l'époque 20 dans my_guess.

Récap Mélange, découpe, passe avant, passe arrière, pas. Recommence.

Mots et symboles de cette leçon
neurone
w . x + b, puis une activation
poids (w, W), biais (b)
les nombres qu'un neurone apprend ; le biais décale sa sortie
ReLU
max(0, z) : garde les positifs, met à zéro les négatifs
taux d'apprentissage (lr)
la taille de chaque pas d'entraînement
couche cachée
une couche entre l'entrée et la sortie qui construit de nouvelles caractéristiques
À ton tour

Avec ton forward_backward, écris train(X, y, hidden, lr, epochs, seed) qui renvoie un dictionnaire de poids, et predict(params, X) qui renvoie le chiffre prédit pour chaque ligne. Remplis my_guess. Le test caché mesure la justesse sur 397 chiffres sur lesquels tu ne t'es jamais entraîné : atteins au moins 95 %. (lr 0.5, 20 époques, 64 neurones cachés, ça marche.)

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.