دو شبکه در یک بازی
چرا مهم است یک VAE بازسازی تصاویر را یاد میگیرد و بهایش را با تاری میپردازد. یک GAN (شبکهٔ مولد تخاصمی) هرگز هیچ چیزی را بازسازی نمیکند. یک شبکه تصویر میسازد، شبکهٔ دوم داوریشان میکند و هر کدام در برابر دیگری آموزش میبیند. این ایدهٔ پشت نخستین چهرههای تولیدشدهای است که مردم را فریب دادند.
دو بازیکن:
- مولد G نویز تصادفی z را به یک نمونه، G(z)، تبدیل میکند.
- تمیزدهنده D به یک نمونه نگاه میکند و یک امتیاز (یک logit) میدهد. sigmoid(score) باور آن به واقعی بودن نمونه است.
D مثل هر طبقهبندی آموزش میبیند: نمونههای واقعی با برچسب 1، نمونههای تولیدشده با برچسب 0، آنتروپی متقاطع دودویی. G آموزش میبیند تا D را فریب دهد. دو راه برای نوشتن زیان G هست و تفاوت تعیین میکند آیا آموزش اصلاً شروع میشود:
- اشباعشونده (بازی مقالهٔ اصلی): G مقدار log(1 - D(G(z))) را کمینه میکند.
- غیراشباعی: G مقدار -log D(G(z)) را کمینه میکند. همان هدف، «کاری کن D بگوید واقعی».
اعداد کوچک: شیبها
f را امتیاز D روی یک جعلی بنویسید، پس D(G(z)) = sigmoid(f). شیب هر زیان نسبت به f این است:
اشباعشونده: -sigmoid(f) غیراشباعی: sigmoid(f) - 1
در اوایل آموزش D جعلیها را بهآسانی تشخیص میدهد: D(G(z)) = 0.001. آنگاه شیب اشباعشونده -0.001 است، تقریباً هیچ چیز برای یادگیری. شیب غیراشباعی -0.999 است، یک هل کامل. این نظریه است. دوره سنجید کی اهمیت دارد: روی حلقهٔ سالم هر دو زیان آموزش میدهند (همهٔ 8 بذر ثبتشده)؛ در چیدمانی که D برنده میشود، زیان اشباعشونده هیچ چیز یاد نمیگیرد.
همهٔ زیانها اینجا از ترفندهای log-sum-exp استفاده میکنند تا هیچ لگاریتمی هرگز 0 را نبیند: log(sigmoid(f)) = -softplus(-f) و log(1 - sigmoid(f)) = -softplus(f)، با softplus(a) = log(1 + e^a)، که بهصورت np.logaddexp(0, a) محاسبه میشود.
واژهها و نمادهای این درس
- GAN
- شبکهٔ مولد تخاصمی: یک مولد و یک تمیزدهنده که در برابر هم آموزش میبینند
- مولد (G)
- شبکهای که نویز را به یک نمونه تبدیل میکند
- تمیزدهنده (D)
- شبکهای که به یک نمونه بهعنوان واقعی یا تولیدشده امتیاز میدهد
- زیان اشباعشونده
- G مقدار log(1 - D(G(z))) را کمینه میکند؛ وقتی D مطمئن است شیبش حدود 0 است، پس G دیگر یاد نمیگیرد
سه زیان را بهصورت میانگین روی یک دسته از امتیازها بنویسید: d_loss(real_scores, fake_scores)، g_loss_saturating(fake_scores) و g_loss_nonsat(fake_scores). سپس slopes را پر کنید: برای هر D(G(z)) در 0.001، 0.1 و 0.5، شیب هر زیان مولد نسبت به امتیاز جعلی (برای یک نمونه).
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.