Lehrplan Lektion 175 von 246 · Modul 15: Zusammendrücken, Neuaufbau, Generieren (Autoencoder und VAEs)
Modul 15: Zusammendrücken, Neuaufbau, Generieren (Autoencoder und VAEs)

Gate: das VAE, das eine Ziffer zeichnet (KI aus)

Warum das wichtig ist Dieses Versagen hat einen Namen, posterior collapse, und es ist häufig genug, dass jedes generative Modell, das du später baust, eine Version davon haben kann. Hier diagnostizierst und behebst du es alleine.

Gate-Regeln: KI aus. Führe den Starter aus und schaue dir an, was das kaputte VAE erzeugt. Du kannst so viele Variationen wie du möchtest mit gen.train_vae(...) trainieren und sie mit gen.judge, active_units() und dem rebuild error beurteilen.

Es gibt es drei Einstellungen, jede mit einem Grund, sie auszuprobieren:

  • weight: die Stärke von pull 2 (der KL), standardmäßig 1.
  • warmup_steps: beginne mit Gewicht 0 und erhöhe es gleichmäßig auf weight über diese vielen Schritte (training ist 600 steps).
  • free_bits: ein Boden pro Codenummer. Eine Zahl, deren KL unter dem Boden liegt, zahlt den Boden und erhält keinen Schub zur Mitte, sodass das Modell es sich leisten kann, sie zu verwenden.

Du wirst online lesen, dass das Aufwärmen des Gewichts die Standardlösung ist. Finde heraus, ob es hier der Fall ist.

Der Check trainiert deinen Fix auf einem neuen Seed neu und lässt ihn nur durch, wenn alle vier Bedingungen erfüllt sind: test rebuild error unter 0.035, mindestens 3 aktive Code-Nummern, neue Ziffern mit einer Closeness von höchstens 1.33 und einer Variety von mindestens 3.0.

Wörter und Symbole in dieser Lektion
code (latent)
die wenigen Zahlen, die der Encoder aus einem Bild macht
VAE
variational autoencoder: ein autoencoder, dessen codes so gezogen werden, dass sie N(0, 1) füllen, sodass zufällige codes zu neuen Bildern dekodiert werden
mu, logvar
das Zentrum und der Logarithmus der quadrierten Streuung einer Codenummer in einem VAE
closeness, variety
der Kursrichter: Abstand zur nächsten echten Ziffer und Bits der Streuung über die zehn Ziffern
posterior collapse
a VAE, dessen Codes alle zu N(0, 1) werden und nichts tragen; es zeichnet ein durchschnittliches Bild
Du bist dran

Setze diagnosis auf einen Buchstaben und fix auf ein Dictionary von Einstellungen für gen.train_vae, das den Zusammenbruch behebt.

KI aus: kein Tutor, keine Hinweise oder gelöste Lösung für diese Aufgabe. Nur dein eigenes Denken.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.