Wie weit ein Code vom Zentrum entfernt ist: KL zwischen zwei Glockenkurven
Warum das wichtig ist Pull 2 braucht eine Zahl, um zu minimieren: wie weit die Cloud N(mu, spread) jedes Codes vom Ziel N(0, 1) entfernt ist. Diese Zahl ist die KL divergence, die du in Modul 2 kennengelernt hast, jetzt für Glockenkurven.
Modul 2 gab die exakte Formel für zwei Glockenkurven: KL zwischen N(m1, s1) und N(m2, s2) ist
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
Mit dem Ziel N(0, 1) (m2 = 0, s2 = 1) und der Streuung geschrieben als logvar = log(s1²), wird es 0.5 (mu² + exp(logvar) - 1 - logvar) pro Codenummer. Addiere es über die Nummern des Codes auf.
Kleine Zahlen
mu = 0, logvar = 0 (spread 1): 0.5 (0 + 1 - 1 - 0) = 0, der Code entspricht bereits dem Ziel. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, also zahlt ein Code, der zu sicher ist, auch.
Überprüfe es ohne die Formel
KL ist ein Durchschnitt: der Mittelwert von log p(x) - log q(x) für x aus p gezogen. Viele x zu ziehen und zu mitteln ergibt dieselbe Zahl, ein wenig verrauscht. Wenn zwei Methoden übereinstimmen, weißt du, dass der Code richtig ist.
Wörter und Symbole in dieser Lektion
- code (latent)
- die wenigen Zahlen, die der Encoder aus einem Bild macht
- mu, logvar
- das Zentrum und der Logarithmus der quadrierten Streuung einer Codenummer in einem VAE
Schreibe kl_normal(m1, s1, m2, s2) aus der Formel, kl_to_standard(mu, logvar) (NumPy arrays der Form (N, z), die die Summe über die Codenummern über die N Zeilen gemittelt zurückgeben), und kl_by_sampling(m1, s1, m2, s2, n), das log p(x) - log q(x) über n Ziehungen aus p mittelt.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.