سرفصل‌ها درس 184 از 246 · ماژول 17: نویز وارد، تصویر خارج (انتشار)
ماژول 17: نویز وارد، تصویر خارج (انتشار)

یادگیری پیش‌بینی نویز

چرا مهم است کل دستور آموزش یک مدل انتشار در پنج خط جا می‌شود و رگرسیونی ساده است: به شبکه یک نقطهٔ پرنویز و گام را نشان دهید و نویز را بخواهید. نه بازی‌ای، نه شبکهٔ دومی.

یک گام آموزش:

  1. دسته‌ای از نقطه‌های واقعی x0 و، برای هر کدام، یک گام تصادفی t و نویز تازهٔ eps بگیرید.
  2. با میان‌بر به x_t بپرید.
  3. از شبکه نویز را بخواهید: model.predict(x_t, t).
  4. زیان = میانگین (نویز پیش‌بینی‌شده - eps) به توان دو.
  5. رو به عقب، گام.

پیش‌بینی منحنی

پیش از اجرا، زیان را در سه لحظه حدس بزنید: در 10 گام اول، حوالی گام 300 و حوالی گام 3000. دو تکیه‌گاه: شبکه‌ای که همیشه 0 پیش‌بینی می‌کند دقیقاً 1 می‌گیرد (نویز پراکندگی 1 دارد)، و یک شبکهٔ بی‌نقص نمی‌تواند به 0 برسد، چون در گام‌های بسیار پرنویز حدس زدن نویز آسان است اما در گام‌های تقریباً تمیز تقریباً ناممکن است.

این حوزه اکنون کجاست پیش‌بینی نویز، تا یک مقیاس، همان برآورد امتیاز (score) است: جهتی که دادهٔ پرنویز در آن محتمل‌تر می‌شود (Song و Ermon 2019؛ Ho و همکاران 2020). به همین دلیل پیکان‌ها به سوی خانه اشاره می‌کنند. مولدهای تصویر واقعی به پیکسل‌ها نویز اضافه نمی‌کنند: اول هر تصویر را با یک خودرمزگذار، مثل ماژول 15، می‌فشارند و انتشار را روی کدهای کوچک اجرا می‌کنند (انتشار نهفته، Rombach و همکاران 2022). هر چیزی در این ماژول منتقل می‌شود؛ فقط فضا تغییر می‌کند.

واژه‌ها و نمادهای این درس
مدل انتشار
شبکه‌ای که برای برداشتن نویز، کمی در هر بار، آموزش دیده؛ اگر از نویز محض رو به عقب اجرا شود، تولید می‌کند
x0، x_t
دادهٔ تمیز، و همان داده پس از t گام نویز
eps
نویز زنگوله‌ای که اضافه شد؛ شبکه پیش‌بینی آن را یاد می‌گیرد
روی شکل، پوشش
داور دوبعدی: سهم نمونه‌هایی که نزدیک شکل واقعی‌اند، و سهمی از شکل که نمونه‌ای نزدیکش هست
نوبت شما

my_guess را پر کنید، سپس بدنهٔ حلقه را بنویسید (3000 گام از 256 نقطهٔ مارپیچ؛ difflab.shape('spiral', 256, rng)، difflab.add_noise). زیان هر گام را به losses اضافه کنید. با زیان نهایی زیر 0.40 و نمونه‌هایی دست‌کم 0.75 روی شکل قبول می‌شوید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.