زیان VAE، گام به گام (ELBO)
چرا مهم است «خوب بازسازی کن بهعلاوهٔ نزدیک مرکز بمان» شبیه دو هدف چسبیده به هم به نظر میرسد. یک هدف است: رقمهای واقعی را تحت مدل تا حد ممکن محتمل کنید. دیدن چراییاش به شما میگوید عدد زیان چه معنایی دارد.
یک VAE داستان چگونگی ساخته شدن یک رقم است: یک کد z از N(0, 1) بکشید، سپس هر پیکسل را با احتمالی که رمزگشا میدهد بکشید. بهترین مدل به رقمهای واقعی بیشترین احتمال، log p(x)، را میدهد. محاسبهٔ دقیق log p(x) میانگینی روی هر z ممکن لازم دارد که دستنیافتنی است.
ترفند یک کران پایین قابل محاسبه است، ELBO (کران پایین شواهد):
فرمول: log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
اینجا q(z | x) = N(mu, spread) حدس رمزگذار از اینکه کدام کدها میتوانستند x را بسازند است و E[...] روی کدهای کشیدهشده از آن میانگین میگیرد. جملهٔ اول امتیاز بازسازی است. جملهٔ دوم کشش 2 است. فاصلهٔ میان log p(x) و ELBO دقیقاً این است که حدس رمزگذار چقدر اشتباه است (یک KL تا پسین واقعی)، پس بالا بردن ELBO یا log p(x) را بالا میبرد، یا فاصله را میبندد (حدس را بهتر میکند)، یا هر دو: ELBO بهتنهایی نمیتواند بگوید کدام.
آموزش -ELBO را کمینه میکند، که زیان بازسازی + KL است: همان زیانی که در gen.train_vae است.
جاهای خالی را روی یک مثال کوچک پر کنید
یک تصویر 4 پیکسلی x = [1, 0, 1, 1]. رمزگذار mu = [0.5, -1.0] و logvar = [0.0, -1.0] را میدهد. یک کشیدن از کد احتمالهای رمزگشای p = [0.9, 0.2, 0.7, 0.6] (احتمال جوهر هر پیکسل) را میدهد.
واژهها و نمادهای این درس
- کد (نهفته)
- چند عددی که رمزگذار از یک تصویر میسازد
- VAE
- خودرمزگذار تغییراتی: خودرمزگذاری که کدهایش کشیده میشوند تا N(0, 1) را پر کنند، تا کدهای تصادفی به تصاویر تازه رمزگشایی شوند
- mu، logvar
- مرکز و لگاریتم مربع پراکندگی یک عدد کد در یک VAE
- ELBO
- کران پایین شواهد: امتیاز بازسازی منهای KL؛ آموزش یک VAE آن را بالا میبرد
هر گام را پر کنید: log_p_x_given_z (جمع روی پیکسلها از x log p + (1 - x) log(1 - p))، kl (تا N(0, 1)، جمعشده روی هر دو عدد کد)، elbo، و loss (آنچه آموزش کمینه میکند). سپس gap_means را برابر حرفی قرار دهید که میگوید فاصلهٔ میان log p(x) و ELBO چه چیزی را میسنجد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.