Der VAE loss, Schritt für Schritt (der ELBO)
Warum das wichtig ist "Gut wieder aufbauen und nah am Zentrum bleiben" klingt wie zwei zusammengeklebte Ziele. Es ist ein Ziel: mache die echten Ziffern unter dem Modell so wahrscheinlich wie möglich. Zu sehen, warum, sagt dir, was die Loss-Zahl bedeutet.
A VAE ist eine Geschichte darüber, wie eine Ziffer gemacht wird: ziehe einen Code z aus N(0, 1), dann ziehe jedes Pixel mit der Wahrscheinlichkeit, die der Decoder gibt. Das beste Modell gibt echten Ziffern die höchste Wahrscheinlichkeit, log p(x). Die Berechnung von log p(x) genau benötigt einen Durchschnitt über jedes mögliche z, was unerreichbar ist.
Der Trick ist eine untere Grenze, die du berechnen kannst, die ELBO (evidence lower bound):
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
Hier q(z | x) = N(mu, spread) ist die Schätzung des Encoders, welche Codes x hätten erzeugen können, und E[...] mittelt über Codes, die daraus gezogen wurden. Der erste Term ist der Rebuild Score. Der zweite Term ist Pull 2. Die Lücke zwischen log p(x) und der ELBO ist genau das, wie falsch die Schätzung des Encoders ist (ein KL zum wahren Posterior), also erhöht das Hochdrücken der ELBO log p(x), oder schließt die Lücke (macht die Schätzung besser), oder beides: Die ELBO allein kann dir nicht sagen, welches.
Training minimiert -ELBO, was der rebuild loss + KL ist: der eigentliche Verlust in gen.train_vae.
Fülle die Lücken in einem winzigen Beispiel
A 4-Pixel-Bild x = [1, 0, 1, 1]. Der Encoder gibt mu = [0.5, -1.0] und logvar = [0.0, -1.0]. Ein Durchlauf des Codes gibt Decoder-Wahrscheinlichkeiten p = [0.9, 0.2, 0.7, 0.6] (die Chance jedes Pixels für Tinte).
Wörter und Symbole in dieser Lektion
- code (latent)
- die wenigen Zahlen, die der Encoder aus einem Bild macht
- VAE
- variational autoencoder: ein autoencoder, dessen codes so gezogen werden, dass sie N(0, 1) füllen, sodass zufällige codes zu neuen Bildern dekodiert werden
- mu, logvar
- das Zentrum und der Logarithmus der quadrierten Streuung einer Codenummer in einem VAE
- ELBO
- evidence lower bound: rebuild score minus KL; training a VAE pushes it up
Fülle jeden Schritt: log_p_x_given_z (Summe über Pixel von x log p + (1 - x) log(1 - p)), kl (zu N(0, 1), summiert über beide Codenummern), elbo und loss (was das Training minimiert). Setze dann gap_means auf den Buchstaben, der sagt, was die Lücke zwischen log p(x) und dem ELBO misst.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.