Silabus Pelajaran 172 dari 246 · Modul 15: Squeeze, rebuild, generate (autoencoders dan VAEs)
Modul 15: Squeeze, rebuild, generate (autoencoders dan VAEs)

Sampling yang bisa kamu latih melalui

Kenapa ini penting Kode ini adalah pengambilan acak dari N(mu, spread). Backprop butuh kemiringan dari loss kembali ke mu dan logvar, dan "angka acak" tidak punya kemiringan. Satu penulisan ulang memperbaikinya, dan ini digunakan jauh melampaui VAEs.

Gambar keacakannya dulu, dari kurva lonceng tetap: eps dari N(0, 1). Lalu buat kodenya dari sana:

code = mu + exp(logvar / 2) * eps

Kodenya punya rentang nilai yang sama persis dengan hasil acak dari N(mu, spread), tapi sekarang ini adalah aritmatika biasa pada mu dan logvar, dengan eps sebagai input biasa. Kemiringannya sederhana: d code / d mu = 1, dan d code / d logvar = 0.5 exp(logvar / 2) eps. Ini adalah reparameterisation trick.

Angka kecil

mu = 1, logvar = 0, eps = 0.5: kode = 1 + 1 x 0.5 = 1.5. Kemiringan ke mu: 1. Kemiringan ke logvar: 0.5 x 1 x 0.5 = 0.25.

Kamu butuh satu operasi baru untuk itu, exp. Mesin kursus sudah punya satu (E.exp); di sini kamu membangun milikmu sendiri, cara Modul 4: nilai maju, dan aturan mundur yang mengalikan gradien masuk dengan kemiringan lokal (untuk exp, kemiringannya adalah exp itu sendiri).

Di dalam engine house, sebuah operasi adalah tensor out = E.T(value, (parent,)) dengan aturan out.back = lambda g: parent._acc(g * local_slope): back menerima gradien yang datang ke out, dan _acc menambahkan gradien ke parent. E.GUIDE mencetak bagian-bagian engine.

Kata dan simbol di pelajaran ini
kode (latent)
beberapa angka yang dibuat encoder dari satu gambar
VAE
variational autoencoder: sebuah autoencoder yang kode-kodenya ditarik untuk mengisi N(0, 1), jadi kode acak akan didekode menjadi gambar baru
mu, logvar
pusat dan log dari kuadrat penyebaran sebuah nomor kode dalam sebuah VAE
reparameterisasi
code = mu + exp(logvar / 2) x eps, dengan eps diambil pertama, jadi gradien mencapai mu dan logvar
Giliranku

Tulis exp_op(a) sebagai operasi mesin (kembalikan E.T dengan parents dan aturan back). Tulis reparam(mu, logvar, eps) dengan exp_op, E.scale, E.mul dan E.add. Lalu cek kedua gradient terhadap nudging dan atur max_gap ke perbedaan terbesar yang kamu temukan.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.