Ein kleines CNN für Ziffern
Warum das wichtig ist Das ist LeNets Idee von 1998: convolution, pooling, convolution, pooling, dann ein classifier. Baue es aus den house layers, die du verdient hast, und sieh es, wie es das MLP bei verschobenen Ziffern schlägt.
Die Hausbibliothek nnsim.engine hat die Schichten, die du gebaut hast: conv (3 mal 3, gleiches padding), relu, pool2 (2 mal 2 Durchschnitt), gap (globales Durchschnitts-Pooling), matmul, cross_entropy und Adam. Ein conv Gewicht für 3 mal 3 Filter von C_in zu C_out Kanälen hat die Form (9 * C_in, C_out).
Die Hausbibliothek, in einer Karte (halte sie für den Rest des Kurses bereit; print(E.GUIDE) zeigt sie in jeder Lektion wieder)
E.T(array)verpackt Zahlen als einen Tensor..dataist das Array (float32);.gradistNonebisbackward()es erreicht.loss.backward()füllt.gradauf jedem Tensor aus, von dem der loss abhängt.opt = E.Adam(params, lr)nimmt eine Liste von Tensoren.opt.step()aktualisiert jeden, der einen Gradienten hat, und setzt dann seinen.gradzurück aufNone, damit du niemals selbst Gradienten auf Null setzt.- Bilder sind channels last: (batch, rows, columns, channels).
E.conv(x, w)behält die Größe (same padding) und wandelt C channels in F mitwder Form (9 * C, F) um.E.pool2halbiert rows und columns;E.gapmittelt sie weg und ergibt (batch, channels). E.cross_entropy(logits, y): logits (batch, classes) als Tensor, y ein einfaches Integer-Array. Es gibt einen Tensor zurück, der eine Zahl enthält;float(loss.data)liest ihn.- Ein ganzer Trainingsschritt besteht aus drei Zeilen:
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step(). - Aufgezeichnete Durchläufe:
print(R.experiment(name))listet seine Einstellungen und die Namen seiner Metriken auf;run = exp.run(setting=value, ...), dannrun.loss(Paare von step und loss),run.metrics(ein Dictionary) undrun.final_loss.
Rufe die Curve mit dem Chart auf: schätze den training loss nach epoch 1 und nach epoch 8 (der letzte).
Wörter und Symbole in dieser Lektion
- convolution
- Verschiebe ein kleines Gitter von Gewichten (einen Filter) über ein Bild, ein Skalarprodukt pro Position
- filter, Feature-Map
- das kleine gelernte Gitter von Gewichten; und das Bild seiner Antworten
- padding (p), stride (s)
- Nullen am Rand hinzugefügt; wie viele Pixel der Filter jeden Schritt bewegt
- pooling
- Verkleinerung einer Map durch Beibehalten des Maximums oder Durchschnitts jedes Blocks
- RECORDED
- Ein echter Durchlauf des Kurses wurde einmal trainiert und wird dir zum Lernen zugeschickt
Fülle my_guess, dann schreibe train(epochs, seed) und gib eine Funktion predict(X) zurück. Nutze conv(1 to 16) + relu, conv(16 to 32) + relu, global average pooling, dann eine linear layer zu 10 classes. Erreiche mindestens 90% bei den test digits und mindestens 60% bei test digits, die um 2 pixels verschoben sind (wo das MLP etwa 21% erreichte). Der verschobene Score bewegt sich stark von seed zu seed (die eigene Antwort des Kurses erhält über fünf seeds 0.76 bis 0.89), also liegt die Hürde deutlich darunter. Adam mit einer learning rate von etwa 1e-2 funktioniert hier; mit 3e-3 lernt dieses kleine Netzwerk zu langsam für die Lektion.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.