المنهج الدراسي الدرس 186 من 246 · الوحدة 17: ضجيج في الداخل، صور في الخارج (diffusion)
الوحدة 17: ضجيج في الداخل، صور في الخارج (diffusion)

جداول الضجيج: خسارة أقل، عينات أسوأ

لماذا هذا مهم الخسارة هي الرقم الذي تراقبه، لذا قد يكون من المغري اختيار أي شيء يجعله أقل. هنا هذا الحدس خاطئ تماما، ورؤية السبب تعلمك ما الذي تقيسه الخسارة.

جدولان لنفس الـ 100 خطوة:

  • Linear (ورقة DDPM الأصلية): ترتفع beta بالتساوي من 0.0001 إلى 0.02 x (1000 / T). مع 100 خطوة فقط، تنخفض abar بسرعة: معظم الخطوات هي ضوضاء نقية تقريبًا.
  • Cosine (Nichol and Dhariwal, 2021): تتبع abar منحنى جيب التمام، لذا تتلاشى الإشارة بالتساوي عبر الخطوات.

تم تدريب الدورة على الحلزون، 3 بذور لكل منهما (difflab.recorded()).

توقع أولا: أي جدول ينتهي بخسارة تدريب أقل، وأيهما ينتج عينات تقع بشكل أفضل على الحلزون؟

الكلمات والرموز في هذا الدرس
جدول الضوضاء (beta)
كم من الضجيج الجديد يختلط في كل خطوة
abar
حصة الإشارة الأصلية المتبقية بعد عدد من الخطوات (جذرها التربيعي يضرب x0)
eps
ضجيج المنحنى الجرس الذي تمت إضافته؛ تتعلم الشبكة التنبؤ به
DDPM
أخذ عينات عن طريق العودة عبر كل خطوة، مع ضوضاء جديدة في كل مرة
شكل
، تغطية
الحكم ثنائي الأبعاد: حصة العينات القريبة من الشكل الحقيقي، وحصة الشكل مع عينة قريبة منه
دورك

اضبط guess لكلا السؤالين على "linear" أو "cosine". ثم املأ table بمتوسط الخسارة النهائية ومتوسط درجة الالتزام بالشكل لكل جدول على البذور الثلاث المسجّلة، وnoisy_share: لكل جدول، نسبة الخطوات المئة التي يتبقى فيها أقل من 10% من تباين الإشارة (abar تحت 0.1؛ حجم الإشارة هو sqrt(abar)، نحو 0.32 هناك). أخيراً اضبط shows، أي السؤالين نفسيهما مُجاباً عنهما من جدولك. يبقى تخمينك كما وضعته.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.