Gate: das VAE, das eine Ziffer zeichnet (KI aus)
Warum das wichtig ist Dieses Versagen hat einen Namen, posterior collapse, und es ist häufig genug, dass jedes generative Modell, das du später baust, eine Version davon haben kann. Hier diagnostizierst und behebst du es alleine.
Gate-Regeln: KI aus. Führe den Starter aus und schaue dir an, was das kaputte VAE erzeugt. Du kannst so viele Variationen wie du möchtest mit gen.train_vae(...) trainieren und sie mit gen.judge, active_units() und dem rebuild error beurteilen.
Es gibt es drei Einstellungen, jede mit einem Grund, sie auszuprobieren:
weight: die Stärke von pull 2 (der KL), standardmäßig 1.warmup_steps: beginne mit Gewicht 0 und erhöhe es gleichmäßig aufweightüber diese vielen Schritte (training ist 600 steps).free_bits: ein Boden pro Codenummer. Eine Zahl, deren KL unter dem Boden liegt, zahlt den Boden und erhält keinen Schub zur Mitte, sodass das Modell es sich leisten kann, sie zu verwenden.
Du wirst online lesen, dass das Aufwärmen des Gewichts die Standardlösung ist. Finde heraus, ob es hier der Fall ist.
Der Check trainiert deinen Fix auf einem neuen Seed neu und lässt ihn nur durch, wenn alle vier Bedingungen erfüllt sind: test rebuild error unter 0.035, mindestens 3 aktive Code-Nummern, neue Ziffern mit einer Closeness von höchstens 1.33 und einer Variety von mindestens 3.0.
Wörter und Symbole in dieser Lektion
- code (latent)
- die wenigen Zahlen, die der Encoder aus einem Bild macht
- VAE
- variational autoencoder: ein autoencoder, dessen codes so gezogen werden, dass sie N(0, 1) füllen, sodass zufällige codes zu neuen Bildern dekodiert werden
- mu, logvar
- das Zentrum und der Logarithmus der quadrierten Streuung einer Codenummer in einem VAE
- closeness, variety
- der Kursrichter: Abstand zur nächsten echten Ziffer und Bits der Streuung über die zehn Ziffern
- posterior collapse
- a VAE, dessen Codes alle zu N(0, 1) werden und nichts tragen; es zeichnet ein durchschnittliches Bild
Setze diagnosis auf einen Buchstaben und fix auf ein Dictionary von Einstellungen für gen.train_vae, das den Zusammenbruch behebt.
KI aus: kein Tutor, keine Hinweise oder gelöste Lösung für diese Aufgabe. Nur dein eigenes Denken.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.