زمانبندیهای نویز: زیانی پایینتر، نمونههایی بدتر
چرا مهم است زیان عددی است که تماشا میکنید، پس وسوسهانگیز است هر چیزی را که آن را پایینتر میکند برگزینید. اینجا آن غریزه دقیقاً اشتباه است، و دیدن چراییاش به شما یاد میدهد زیان چه چیزی را میسنجد.
دو زمانبندی برای همان 100 گام:
- خطی (مقالهٔ اصلی DDPM): beta بهطور یکنواخت از 0.0001 تا 0.02 x (1000 / T) بالا میرود. با فقط 100 گام، abar سریع پایین میآید: بیشتر گامها تقریباً نویز محضاند.
- کسینوسی (Nichol و Dhariwal، 2021): abar از یک منحنی کسینوسی پیروی میکند، پس سیگنال بهطور یکنواخت در طول گامها کمرنگ میشود.
دوره هر دو را روی مارپیچ آموزش داد، هر کدام با 3 بذر (difflab.recorded()).
اول پیشبینی کنید: کدام زمانبندی با زیان آموزش پایینتر تمام میشود، و کدام نمونههایی میسازد که بهتر روی مارپیچ مینشینند؟
واژهها و نمادهای این درس
- زمانبندی نویز (beta)
- اینکه در هر گام چه مقدار نویز تازه آمیخته میشود
- abar
- سهم سیگنال اصلی که پس از تعدادی گام میماند (ریشهٔ دومش در x0 ضرب میشود)
- eps
- نویز زنگولهای که اضافه شد؛ شبکه پیشبینی آن را یاد میگیرد
- DDPM
- نمونهگیری با گام برداشتن رو به عقب از میان هر گام، با نویز تازه در هر بار
- روی شکل، پوشش
- داور دوبعدی: سهم نمونههایی که نزدیک شکل واقعیاند، و سهمی از شکل که نمونهای نزدیکش هست
guess را برای هر دو پرسش برابر "linear" یا "cosine" قرار دهید. سپس table را با میانگین زیان نهایی و میانگین امتیاز رویشکل هر زمانبندی روی 3 بذر ثبتشده پر کنید، و noisy_share را: برای هر زمانبندی، سهمی از 100 گام که در آن کمتر از 10% واریانس سیگنال باقی میماند (abar زیر 0.1؛ اندازهٔ سیگنال sqrt(abar) است، آنجا حدود 0.32). در پایان shows را تنظیم کنید، همان دو پرسش که از روی جدولتان پاسخ داده شدهاند. حدس شما همانطور که زدید میماند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.