Lehrplan Lektion 167 von 246 · Modul 15: Zusammendrücken, Neuaufbau, Generieren (Autoencoder und VAEs)
Modul 15: Zusammendrücken, Neuaufbau, Generieren (Autoencoder und VAEs)

Zusammendrücken und Neuaufbau (Autoencoder)

Warum das wichtig istJedes Netzwerk bisher hat ein Bild in ein Label verwandelt. Dieses Modul verwandelt Bilder in neue Bilder. Der erste Schritt ist ein Netzwerk, das ein Bild in ein paar Zahlen presst und es aus ihnen wieder aufbaut. Aus diesen wenigen Zahlen werden neue Bilder entstehen.

Ein autoencoder besteht aus zwei Netzwerken hintereinander. Der encoder presst eine 64-Pixel-Ziffer in 16 Zahlen, seinen code. Der decoder baut 64 Pixel aus diesen 16 Zahlen wieder auf. Das Training verlangt eine Sache: das wiederaufgebaute Bild sollte dem Original entsprechen.

Niemand sagt ihm, was die 16 Zahlen bedeuten sollen. Er muss eine kurze Beschreibung einer Ziffer selbst finden, weil 16 Zahlen nicht einfach 64 Pixel kopieren können.

Kleine Zahlen

A 64-Pixel-Ziffer wird zu 16 Zahlen: eine Komprimierung von 4 zu 1. Wenn die neu aufgebauten Pixel um durchschnittlich 0.09 abweichen, beträgt der quadratische Fehler pro Pixel etwa 0.008. Das ist die Größe des Fehlers, den du erreichen wirst.

Wie der Verlust gemessen wird

Jedes Pixel ist eine Zahl von 0 (leer) bis 1 (volle Tinte), also gibt die letzte Schicht des Decoders einen Score pro Pixel und die sigmoid wandelt ihn in 0..1 um. Der Loss ist die binary cross-entropy aus Modul 3, summiert über die 64 Pixel und gemittelt über die Batch. Die House Engine hat es jetzt als E.bce_with_logits(scores, pictures): sie nimmt die Scores vor der sigmoid, also nimmt sie niemals den log von 0.

Die Ausgabe druckt auch Bilder als Text: gen.show(pictures)druckt jede 8x8 Ziffer in Schattierungen von leer bis voller Tinte.

Wörter und Symbole in dieser Lektion
autoencoder
ein Encoder, der ein Bild in wenige Zahlen presst, und ein Decoder, der es wieder aufbaut
code (latent)
die wenigen Zahlen, die der Encoder aus einem Bild macht
mu, logvar
das Zentrum und der Logarithmus der quadrierten Streuung einer Codenummer in einem VAE
Du bist dran

Schreibe encode(x): eine dichte Schicht mit ReLU (P['e1']), dann eine dichte Schicht zu 16 Zahlen (P['e2']). Schreibe decode(code) auf die gleiche Weise mit P['d1'], ReLU und P['d2'], wobei die 64 Scores vor dem sigmoid zurückgegeben werden. Die training loop ist für dich geschrieben. Erreiche einen test rebuild error unter 0.012 pro Pixel.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.