سرفصل‌ها درس 172 از 246 · ماژول 15: فشردن، بازسازی، تولید (خودرمزگذارها و VAEها)
ماژول 15: فشردن، بازسازی، تولید (خودرمزگذارها و VAEها)

نمونه‌گیری‌ای که بتوانید از میانش آموزش دهید

چرا مهم است کد کشیدنی تصادفی از N(mu, spread) است. پس‌انتشار به شیبی از زیان به سوی mu و logvar نیاز دارد، و «یک عدد تصادفی» هیچ شیبی ندارد. یک بازنویسی آن را درست می‌کند و بسیار فراتر از VAEها به کار می‌رود.

اول تصادفی بودن را از یک منحنی زنگوله‌ای ثابت بکشید: eps از N(0, 1). سپس کد را از آن بسازید:

فرمول: code = mu + exp(logvar / 2) * eps

کد دقیقاً همان پراکندگی مقدارهای یک کشیدن از N(mu, spread) را دارد، اما اکنون حسابی معمولی روی mu و logvar است، با eps به‌عنوان یک ورودی ساده. شیب‌ها ساده‌اند: d code / d mu = 1، و d code / d logvar = 0.5 exp(logvar / 2) eps. این ترفند بازپارامتری است.

اعداد کوچک

mu = 1، logvar = 0، eps = 0.5: code = 1 + 1 x 0.5 = 1.5. شیب به mu: 1. شیب به logvar: 0.5 x 1 x 0.5 = 0.25.

برای آن یک عملیات تازه لازم دارید، exp. موتور دوره از قبل یکی دارد (E.exp)؛ اینجا مال خودتان را به روش ماژول 4 می‌سازید: مقدار رو به جلو، و یک قاعدهٔ رو به عقب که گرادیان ورودی را در شیب محلی ضرب می‌کند (برای exp، شیب خود exp است).

در موتور دوره یک عملیات تنسوری است out = E.T(value, (parent,)) با یک قاعدهٔ out.back = lambda g: parent._acc(g * local_slope): back گرادیانی را که به out می‌رسد دریافت می‌کند و _acc یک گرادیان را به والد اضافه می‌کند. E.GUIDE تکه‌های موتور را چاپ می‌کند.

واژه‌ها و نمادهای این درس
کد (نهفته)
چند عددی که رمزگذار از یک تصویر می‌سازد
VAE
خودرمزگذار تغییراتی: خودرمزگذاری که کدهایش کشیده می‌شوند تا N(0, 1) را پر کنند، تا کدهای تصادفی به تصاویر تازه رمزگشایی شوند
mu، logvar
مرکز و لگاریتم مربع پراکندگی یک عدد کد در یک VAE
بازپارامتری
code = mu + exp(logvar / 2) x eps، با eps که اول کشیده می‌شود، تا گرادیان‌ها به mu و logvar برسند
نوبت شما

exp_op(a) را به‌صورت یک عملیات موتور بنویسید (یک E.T با والدها و یک قاعدهٔ back برگردانید). reparam(mu, logvar, eps) را با exp_op، E.scale، E.mul و E.add بنویسید. سپس هر دو گرادیان را با جابه‌جایی بررسی کنید و max_gap را برابر بزرگ‌ترین تفاوتی که پیدا می‌کنید قرار دهید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.