سرفصل‌ها درس 186 از 246 · ماژول 17: نویز وارد، تصویر خارج (انتشار)
ماژول 17: نویز وارد، تصویر خارج (انتشار)

زمان‌بندی‌های نویز: زیانی پایین‌تر، نمونه‌هایی بدتر

چرا مهم است زیان عددی است که تماشا می‌کنید، پس وسوسه‌انگیز است هر چیزی را که آن را پایین‌تر می‌کند برگزینید. اینجا آن غریزه دقیقاً اشتباه است، و دیدن چرایی‌اش به شما یاد می‌دهد زیان چه چیزی را می‌سنجد.

دو زمان‌بندی برای همان 100 گام:

  • خطی (مقالهٔ اصلی DDPM): beta به‌طور یکنواخت از 0.0001 تا 0.02 x (1000 / T) بالا می‌رود. با فقط 100 گام، abar سریع پایین می‌آید: بیشتر گام‌ها تقریباً نویز محض‌اند.
  • کسینوسی (Nichol و Dhariwal، 2021): abar از یک منحنی کسینوسی پیروی می‌کند، پس سیگنال به‌طور یکنواخت در طول گام‌ها کم‌رنگ می‌شود.

دوره هر دو را روی مارپیچ آموزش داد، هر کدام با 3 بذر (difflab.recorded()).

اول پیش‌بینی کنید: کدام زمان‌بندی با زیان آموزش پایین‌تر تمام می‌شود، و کدام نمونه‌هایی می‌سازد که بهتر روی مارپیچ می‌نشینند؟

واژه‌ها و نمادهای این درس
زمان‌بندی نویز (beta)
اینکه در هر گام چه مقدار نویز تازه آمیخته می‌شود
abar
سهم سیگنال اصلی که پس از تعدادی گام می‌ماند (ریشهٔ دومش در x0 ضرب می‌شود)
eps
نویز زنگوله‌ای که اضافه شد؛ شبکه پیش‌بینی آن را یاد می‌گیرد
DDPM
نمونه‌گیری با گام برداشتن رو به عقب از میان هر گام، با نویز تازه در هر بار
روی شکل، پوشش
داور دوبعدی: سهم نمونه‌هایی که نزدیک شکل واقعی‌اند، و سهمی از شکل که نمونه‌ای نزدیکش هست
نوبت شما

guess را برای هر دو پرسش برابر "linear" یا "cosine" قرار دهید. سپس table را با میانگین زیان نهایی و میانگین امتیاز روی‌شکل هر زمان‌بندی روی 3 بذر ثبت‌شده پر کنید، و noisy_share را: برای هر زمان‌بندی، سهمی از 100 گام که در آن کمتر از 10% واریانس سیگنال باقی می‌ماند (abar زیر 0.1؛ اندازهٔ سیگنال sqrt(abar) است، آنجا حدود 0.32). در پایان shows را تنظیم کنید، همان دو پرسش که از روی جدولتان پاسخ داده شده‌اند. حدس شما همان‌طور که زدید می‌ماند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.