نمونهگیریای که بتوانید از میانش آموزش دهید
چرا مهم است کد کشیدنی تصادفی از N(mu, spread) است. پسانتشار به شیبی از زیان به سوی mu و logvar نیاز دارد، و «یک عدد تصادفی» هیچ شیبی ندارد. یک بازنویسی آن را درست میکند و بسیار فراتر از VAEها به کار میرود.
اول تصادفی بودن را از یک منحنی زنگولهای ثابت بکشید: eps از N(0, 1). سپس کد را از آن بسازید:
فرمول: code = mu + exp(logvar / 2) * eps
کد دقیقاً همان پراکندگی مقدارهای یک کشیدن از N(mu, spread) را دارد، اما اکنون حسابی معمولی روی mu و logvar است، با eps بهعنوان یک ورودی ساده. شیبها سادهاند: d code / d mu = 1، و d code / d logvar = 0.5 exp(logvar / 2) eps. این ترفند بازپارامتری است.
اعداد کوچک
mu = 1، logvar = 0، eps = 0.5: code = 1 + 1 x 0.5 = 1.5. شیب به mu: 1. شیب به logvar: 0.5 x 1 x 0.5 = 0.25.
برای آن یک عملیات تازه لازم دارید، exp. موتور دوره از قبل یکی دارد (E.exp)؛ اینجا مال خودتان را به روش ماژول 4 میسازید: مقدار رو به جلو، و یک قاعدهٔ رو به عقب که گرادیان ورودی را در شیب محلی ضرب میکند (برای exp، شیب خود exp است).
در موتور دوره یک عملیات تنسوری است out = E.T(value, (parent,)) با یک قاعدهٔ out.back = lambda g: parent._acc(g * local_slope): back گرادیانی را که به out میرسد دریافت میکند و _acc یک گرادیان را به والد اضافه میکند. E.GUIDE تکههای موتور را چاپ میکند.
واژهها و نمادهای این درس
- کد (نهفته)
- چند عددی که رمزگذار از یک تصویر میسازد
- VAE
- خودرمزگذار تغییراتی: خودرمزگذاری که کدهایش کشیده میشوند تا N(0, 1) را پر کنند، تا کدهای تصادفی به تصاویر تازه رمزگشایی شوند
- mu، logvar
- مرکز و لگاریتم مربع پراکندگی یک عدد کد در یک VAE
- بازپارامتری
- code = mu + exp(logvar / 2) x eps، با eps که اول کشیده میشود، تا گرادیانها به mu و logvar برسند
exp_op(a) را بهصورت یک عملیات موتور بنویسید (یک E.T با والدها و یک قاعدهٔ back برگردانید). reparam(mu, logvar, eps) را با exp_op، E.scale، E.mul و E.add بنویسید. سپس هر دو گرادیان را با جابهجایی بررسی کنید و max_gap را برابر بزرگترین تفاوتی که پیدا میکنید قرار دهید.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.