Sampling yang bisa kamu latih melalui
Kenapa ini penting Kode ini adalah pengambilan acak dari N(mu, spread). Backprop butuh kemiringan dari loss kembali ke mu dan logvar, dan "angka acak" tidak punya kemiringan. Satu penulisan ulang memperbaikinya, dan ini digunakan jauh melampaui VAEs.
Gambar keacakannya dulu, dari kurva lonceng tetap: eps dari N(0, 1). Lalu buat kodenya dari sana:
code = mu + exp(logvar / 2) * eps
Kodenya punya rentang nilai yang sama persis dengan hasil acak dari N(mu, spread), tapi sekarang ini adalah aritmatika biasa pada mu dan logvar, dengan eps sebagai input biasa. Kemiringannya sederhana: d code / d mu = 1, dan d code / d logvar = 0.5 exp(logvar / 2) eps. Ini adalah reparameterisation trick.
Angka kecil
mu = 1, logvar = 0, eps = 0.5: kode = 1 + 1 x 0.5 = 1.5. Kemiringan ke mu: 1. Kemiringan ke logvar: 0.5 x 1 x 0.5 = 0.25.
Kamu butuh satu operasi baru untuk itu, exp. Mesin kursus sudah punya satu (E.exp); di sini kamu membangun milikmu sendiri, cara Modul 4: nilai maju, dan aturan mundur yang mengalikan gradien masuk dengan kemiringan lokal (untuk exp, kemiringannya adalah exp itu sendiri).
Di dalam engine house, sebuah operasi adalah tensor out = E.T(value, (parent,)) dengan aturan out.back = lambda g: parent._acc(g * local_slope): back menerima gradien yang datang ke out, dan _acc menambahkan gradien ke parent. E.GUIDE mencetak bagian-bagian engine.
Kata dan simbol di pelajaran ini
- kode (latent)
- beberapa angka yang dibuat encoder dari satu gambar
- VAE
- variational autoencoder: sebuah autoencoder yang kode-kodenya ditarik untuk mengisi N(0, 1), jadi kode acak akan didekode menjadi gambar baru
- mu, logvar
- pusat dan log dari kuadrat penyebaran sebuah nomor kode dalam sebuah VAE
- reparameterisasi
- code = mu + exp(logvar / 2) x eps, dengan eps diambil pertama, jadi gradien mencapai mu dan logvar
Tulis exp_op(a) sebagai operasi mesin (kembalikan E.T dengan parents dan aturan back). Tulis reparam(mu, logvar, eps) dengan exp_op, E.scale, E.mul dan E.add. Lalu cek kedua gradient terhadap nudging dan atur max_gap ke perbedaan terbesar yang kamu temukan.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.