Lehrplan Lektion 170 von 246 · Modul 15: Zusammendrücken, Neuaufbau, Generieren (Autoencoder und VAEs)
Modul 15: Zusammendrücken, Neuaufbau, Generieren (Autoencoder und VAEs)

Wie weit ein Code vom Zentrum entfernt ist: KL zwischen zwei Glockenkurven

Warum das wichtig ist Pull 2 braucht eine Zahl, um zu minimieren: wie weit die Cloud N(mu, spread) jedes Codes vom Ziel N(0, 1) entfernt ist. Diese Zahl ist die KL divergence, die du in Modul 2 kennengelernt hast, jetzt für Glockenkurven.

Modul 2 gab die exakte Formel für zwei Glockenkurven: KL zwischen N(m1, s1) und N(m2, s2) ist

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

Mit dem Ziel N(0, 1) (m2 = 0, s2 = 1) und der Streuung geschrieben als logvar = log(s1²), wird es 0.5 (mu² + exp(logvar) - 1 - logvar) pro Codenummer. Addiere es über die Nummern des Codes auf.

Kleine Zahlen

mu = 0, logvar = 0 (spread 1): 0.5 (0 + 1 - 1 - 0) = 0, der Code entspricht bereits dem Ziel. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, also zahlt ein Code, der zu sicher ist, auch.

Überprüfe es ohne die Formel

KL ist ein Durchschnitt: der Mittelwert von log p(x) - log q(x) für x aus p gezogen. Viele x zu ziehen und zu mitteln ergibt dieselbe Zahl, ein wenig verrauscht. Wenn zwei Methoden übereinstimmen, weißt du, dass der Code richtig ist.

Wörter und Symbole in dieser Lektion
code (latent)
die wenigen Zahlen, die der Encoder aus einem Bild macht
mu, logvar
das Zentrum und der Logarithmus der quadrierten Streuung einer Codenummer in einem VAE
Du bist dran

Schreibe kl_normal(m1, s1, m2, s2) aus der Formel, kl_to_standard(mu, logvar) (NumPy arrays der Form (N, z), die die Summe über die Codenummern über die N Zeilen gemittelt zurückgeben), und kl_by_sampling(m1, s1, m2, s2, n), das log p(x) - log q(x) über n Ziehungen aus p mittelt.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.