Lehrplan Lektion 172 von 246 · Modul 15: Zusammendrücken, Neuaufbau, Generieren (Autoencoder und VAEs)
Modul 15: Zusammendrücken, Neuaufbau, Generieren (Autoencoder und VAEs)

Sampling, durch das du trainieren kannst

Warum das wichtig ist Der Code ist eine zufällige Ziehung aus N(mu, spread). Backprop benötigt eine Steigung vom loss zurück zu mu und logvar, und eine "zufällige Zahl" hat keine Steigung. Ein Rewrite behebt das, und es wird weit über VAEs hinaus verwendet.

Zeichne zuerst die Zufälligkeit aus einer festen Glockenkurve: eps aus N(0, 1). Baue dann den Code daraus auf:

code = mu + exp(logvar / 2) * eps

Der Code hat genau die gleiche Verteilung von Werten wie eine Ziehung aus N(mu, spread), aber jetzt ist es gewöhnliche Arithmetik auf mu und logvar, mit eps als einfachem Input. Die Steigungen sind einfach: d code / d mu = 1, und d code / d logvar = 0.5 exp(logvar / 2) eps. Dies ist der reparameterisation trick.

Kleine Zahlen

mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5. Steigung zu mu: 1. Steigung zu logvar: 0.5 x 1 x 0.5 = 0.25.

Du brauchst eine neue Operation dafür, exp. Die Kurs-Engine hat bereits eine (E.exp); hier baust du deine eigene, auf die Art von Modul 4: ein Vorwärtswert und eine Rückwärtsregel, die den eingehenden Gradienten mit der lokalen Steigung multipliziert (bei exp ist die Steigung das exp selbst).

In der House Engine ist eine Operation ein Tensor out = E.T(value, (parent,)) mit einer Regel out.back = lambda g: parent._acc(g * local_slope): back erhält den Gradienten, der an out ankommt, und _acc fügt einen Gradienten in den Elternknoten hinzu. E.GUIDE druckt die Teile der Engine aus.

Wörter und Symbole in dieser Lektion
code (latent)
die wenigen Zahlen, die der Encoder aus einem Bild macht
VAE
variational autoencoder: ein autoencoder, dessen codes so gezogen werden, dass sie N(0, 1) füllen, sodass zufällige codes zu neuen Bildern dekodiert werden
mu, logvar
das Zentrum und der Logarithmus der quadrierten Streuung einer Codenummer in einem VAE
reparameterisation
code = mu + exp(logvar / 2) x eps, wobei eps zuerst gezogen wird, damit die Gradienten mu und logvar
erreichen.
Du bist dran

Schreibe exp_op(a) als Engine-Operation (gib eine E.T mit Eltern und eine back Regel zurück). Schreibe reparam(mu, logvar, eps) mit exp_op, E.scale, E.mul und E.add. Überprüfe dann beide Gradienten gegen nudging und setze max_gap auf die größte Differenz, die du findest.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.