Amostragem que você pode treinar através
Por que isso importa O código é um sorteio aleatório de N(mu, spread). O Backprop precisa de uma inclinação da perda de volta para mu e logvar, e "um número aleatório" não tem inclinação. Uma reescrita corrige isso, e é usado muito além de VAEs.
Desenhe a aleatoriedade primeiro, a partir de uma curva de sino fixa: eps de N(0, 1). Depois construa o código a partir dela:
code = mu + exp(logvar / 2) * eps
O código tem exatamente a mesma dispersão de valores que um sorteio de N(mu, spread), mas agora é aritmética comum em mu e logvar, com eps como uma entrada simples. As inclinações são simples: d code / d mu = 1, e d code / d logvar = 0.5 exp(logvar / 2) eps. Isso é o reparameterisation trick.
Números pequenos
mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5. Inclinação para mu: 1. Inclinação para logvar: 0.5 x 1 x 0.5 = 0.25.
Você precisa de uma nova operação para isso, exp. O motor do curso já tem uma (E.exp); aqui você constrói a sua própria, do jeito do Módulo 4: valor para frente, e uma regra para trás que multiplica o gradiente de entrada pela inclinação local (para exp, a inclinação é o próprio exp).
No motor da casa uma operação é um tensor out = E.T(value, (parent,)) com uma regra out.back = lambda g: parent._acc(g * local_slope): back recebe o gradiente chegando em out, e _acc adiciona um gradiente no pai. E.GUIDE imprime as peças do motor.
Palavras e símbolos nesta lição
- code (latente)
- os poucos números que o encoder faz de uma imagem
- VAE
- variational autoencoder: um autoencoder cujos códigos são puxados para preencher N(0, 1), então códigos aleatórios decodificam para novas imagens
- mu, logvar
- o centro e o log do desvio ao quadrado de um número de código em um VAE
- reparameterização
- code = mu + exp(logvar / 2) x eps, com eps sorteado primeiro, para que os gradientes alcancem mu e logvar
Escreva exp_op(a) como uma operação de motor (retorne um E.T com pais e uma regra back). Escreva reparam(mu, logvar, eps) com exp_op, E.scale, E.mul e E.add. Depois verifique ambos os gradientes contra nudging e defina max_gap para a maior diferença que você encontrar.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.