Conteúdo do curso Lição 172 de 246 · Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)
Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)

Amostragem que você pode treinar através

Por que isso importa O código é um sorteio aleatório de N(mu, spread). O Backprop precisa de uma inclinação da perda de volta para mu e logvar, e "um número aleatório" não tem inclinação. Uma reescrita corrige isso, e é usado muito além de VAEs.

Desenhe a aleatoriedade primeiro, a partir de uma curva de sino fixa: eps de N(0, 1). Depois construa o código a partir dela:

code = mu + exp(logvar / 2) * eps

O código tem exatamente a mesma dispersão de valores que um sorteio de N(mu, spread), mas agora é aritmética comum em mu e logvar, com eps como uma entrada simples. As inclinações são simples: d code / d mu = 1, e d code / d logvar = 0.5 exp(logvar / 2) eps. Isso é o reparameterisation trick.

Números pequenos

mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5. Inclinação para mu: 1. Inclinação para logvar: 0.5 x 1 x 0.5 = 0.25.

Você precisa de uma nova operação para isso, exp. O motor do curso já tem uma (E.exp); aqui você constrói a sua própria, do jeito do Módulo 4: valor para frente, e uma regra para trás que multiplica o gradiente de entrada pela inclinação local (para exp, a inclinação é o próprio exp).

No motor da casa uma operação é um tensor out = E.T(value, (parent,)) com uma regra out.back = lambda g: parent._acc(g * local_slope): back recebe o gradiente chegando em out, e _acc adiciona um gradiente no pai. E.GUIDE imprime as peças do motor.

Palavras e símbolos nesta lição
code (latente)
os poucos números que o encoder faz de uma imagem
VAE
variational autoencoder: um autoencoder cujos códigos são puxados para preencher N(0, 1), então códigos aleatórios decodificam para novas imagens
mu, logvar
o centro e o log do desvio ao quadrado de um número de código em um VAE
reparameterização
code = mu + exp(logvar / 2) x eps, com eps sorteado primeiro, para que os gradientes alcancem mu e logvar
Sua vez

Escreva exp_op(a) como uma operação de motor (retorne um E.T com pais e uma regra back). Escreva reparam(mu, logvar, eps) com exp_op, E.scale, E.mul e E.add. Depois verifique ambos os gradientes contra nudging e defina max_gap para a maior diferença que você encontrar.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.