Programma Les 49 van 246 · Module 3: Neuron naar MLP
Module 3: Neuron naar MLP

Een cijferlezer in gewoon NumPy

Waarom dit ertoe doet Dit is een echt neuraal netwerk dat echt handschrift leest, met elke regel geschreven door jou. Het is het klassieke eerste netwerk, gebouwd zonder een library.

De data bestaat uit 1.797 handgeschreven cijfers, elk een 8 bij 8 afbeelding die is afgeplat tot 64 getallen (een kleine, lage-resolutie variant van de bekende 28 bij 28 MNIST set, uit een andere collectie). Het netwerk is degene uit de vorige les: 64 inputs, een hidden layer van 64 ReLU neuronen, en 10 outputs.

De trainingslus

  1. Start de weights klein en willekeurig: rng.normal(0, 0.1, shape), biases op nul.
  2. Elke epoch shuffle je de trainingsdata en loop erdoorheen in minibatches van 32.
  3. Voor elke minibatch voer je forward_backward uit en update je elke weight tegen zijn gradient.

Minibatch: een klein willekeurig stuk van de data dat wordt gebruikt voor één stap. Het is veel sneller dan alle data elke stap gebruiken, en de ruis helpt zelfs.

Roep de Curve op: raad de training loss na epoch 1 en na epoch 20 in my_guess.

Samenvatting Shuffle, slice, forward, backward, step. Herhaal.

Woorden en symbolen in deze les
neuron
w . x + b, dan een activatie
weights (w, W), bias (b)
de getallen die een neuron leert; de bias verschuift zijn output
ReLU
max(0, z): houdt positieven vast, maakt negatieven nul
leersnelheid (lr)
hoe groot elke trainingsstap is
hidden layer
a laag tussen input en output die nieuwe features bou
Jij bent aan de beurt

Gebruik je forward_backward, schrijf train(X, y, hidden, lr, epochs, seed) die een dictionary van weights teruggeeft, en predict(params, X) die de voorspelde cijfer voor elke rij teruggeeft. Vul my_guess in. De verborgen test meet de nauwkeurigheid op 397 cijfers waar je nooit op hebt getraind: bereik ten minste 95%. (lr 0.5, 20 epochs, 64 hidden werkt.)

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.