Sampling, durch das du trainieren kannst
Warum das wichtig ist Der Code ist eine zufällige Ziehung aus N(mu, spread). Backprop benötigt eine Steigung vom loss zurück zu mu und logvar, und eine "zufällige Zahl" hat keine Steigung. Ein Rewrite behebt das, und es wird weit über VAEs hinaus verwendet.
Zeichne zuerst die Zufälligkeit aus einer festen Glockenkurve: eps aus N(0, 1). Baue dann den Code daraus auf:
code = mu + exp(logvar / 2) * eps
Der Code hat genau die gleiche Verteilung von Werten wie eine Ziehung aus N(mu, spread), aber jetzt ist es gewöhnliche Arithmetik auf mu und logvar, mit eps als einfachem Input. Die Steigungen sind einfach: d code / d mu = 1, und d code / d logvar = 0.5 exp(logvar / 2) eps. Dies ist der reparameterisation trick.
Kleine Zahlen
mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5. Steigung zu mu: 1. Steigung zu logvar: 0.5 x 1 x 0.5 = 0.25.
Du brauchst eine neue Operation dafür, exp. Die Kurs-Engine hat bereits eine (E.exp); hier baust du deine eigene, auf die Art von Modul 4: ein Vorwärtswert und eine Rückwärtsregel, die den eingehenden Gradienten mit der lokalen Steigung multipliziert (bei exp ist die Steigung das exp selbst).
In der House Engine ist eine Operation ein Tensor out = E.T(value, (parent,)) mit einer Regel out.back = lambda g: parent._acc(g * local_slope): back erhält den Gradienten, der an out ankommt, und _acc fügt einen Gradienten in den Elternknoten hinzu. E.GUIDE druckt die Teile der Engine aus.
Wörter und Symbole in dieser Lektion
- code (latent)
- die wenigen Zahlen, die der Encoder aus einem Bild macht
- VAE
- variational autoencoder: ein autoencoder, dessen codes so gezogen werden, dass sie N(0, 1) füllen, sodass zufällige codes zu neuen Bildern dekodiert werden
- mu, logvar
- das Zentrum und der Logarithmus der quadrierten Streuung einer Codenummer in einem VAE
- reparameterisation
- code = mu + exp(logvar / 2) x eps, wobei eps zuerst gezogen wird, damit die Gradienten mu und logvar erreichen.
Schreibe exp_op(a) als Engine-Operation (gib eine E.T mit Eltern und eine back Regel zurück). Schreibe reparam(mu, logvar, eps) mit exp_op, E.scale, E.mul und E.add. Überprüfe dann beide Gradienten gegen nudging und setze max_gap auf die größte Differenz, die du findest.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.