Lehrplan Lektion 49 von 246 · Modul 3: Neuron zu MLP
Modul 3: Neuron zu MLP

Ein Ziffernleser in einfachem NumPy

Warum das wichtig ist Das ist ein echtes neuronales Netz, das echte Handschrift liest, und jede Zeile hast du geschrieben. Es ist das klassische erste Netz, ohne Bibliothek gebaut.

Die Daten sind 1.797 handgeschriebene Ziffern, jede ein 8 mal 8 Bild, flach gemacht zu 64 Zahlen (ein kleiner, niedrig aufgelöster Verwandter des berühmten 28 mal 28 MNIST-Sets, aus einer anderen Sammlung). Das Netz ist das aus der letzten Lektion: 64 Eingaben, eine verborgene Schicht aus 64 ReLU-Neuronen und 10 Ausgaben.

Die Trainingsschleife

  1. Starte die Gewichte klein und zufällig: rng.normal(0, 0.1, shape), Biases bei null.
  2. Misch in jeder Epoche die Trainingsdaten und geh sie in Minibatches von 32 durch.
  3. Lass für jeden Minibatch forward_backward laufen und bewege jedes Gewicht gegen seinen Gradienten.

Minibatch: ein kleiner zufälliger Ausschnitt der Daten, benutzt für einen Schritt. Das ist viel schneller, als bei jedem Schritt alle Daten zu benutzen, und das Rauschen hilft sogar.

Tipp die Kurve: Schätze in my_guess den Trainingsverlust nach Epoche 1 und nach Epoche 20.

Zusammenfassung Mischen, aufteilen, vorwärts, rückwärts, Schritt. Wiederholen.

Wörter und Symbole in dieser Lektion
Neuron
w . x + b, dann eine Aktivierung
Gewichte (w, W), Bias (b)
die Zahlen, die ein Neuron lernt; der Bias verschiebt seine Ausgabe
ReLU
max(0, z): behält Positives, setzt Negatives auf null
Lernrate (lr)
wie groß jeder Trainingsschritt ist
verborgene Schicht
eine Schicht zwischen Eingabe und Ausgabe, die neue Merkmale bildet
Du bist dran

Verwende dein forward_backward, schreibe train(X, y, hidden, lr, epochs, seed) das ein Dictionary von Gewichten zurück, und predict(params, X) die vorhergesagte Ziffer für jede Zeile zurück. Fülle my_guess aus. Der versteckte Test misst die accuracy auf 397 Ziffern, auf denen du nie trainiert hast: erreiche mindestens 95%. (lr 0.5, 20 epochs, 64 hidden funktioniert.)

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.