جداول الضجيج: خسارة أقل، عينات أسوأ
لماذا هذا مهم الخسارة هي الرقم الذي تراقبه، لذا قد يكون من المغري اختيار أي شيء يجعله أقل. هنا هذا الحدس خاطئ تماما، ورؤية السبب تعلمك ما الذي تقيسه الخسارة.
جدولان لنفس الـ 100 خطوة:
- Linear (ورقة DDPM الأصلية): ترتفع beta بالتساوي من 0.0001 إلى 0.02 x (1000 / T). مع 100 خطوة فقط، تنخفض abar بسرعة: معظم الخطوات هي ضوضاء نقية تقريبًا.
- Cosine (Nichol and Dhariwal, 2021): تتبع abar منحنى جيب التمام، لذا تتلاشى الإشارة بالتساوي عبر الخطوات.
تم تدريب الدورة على الحلزون، 3 بذور لكل منهما (difflab.recorded()).
توقع أولا: أي جدول ينتهي بخسارة تدريب أقل، وأيهما ينتج عينات تقع بشكل أفضل على الحلزون؟
الكلمات والرموز في هذا الدرس
- جدول الضوضاء (beta)
- كم من الضجيج الجديد يختلط في كل خطوة
- abar
- حصة الإشارة الأصلية المتبقية بعد عدد من الخطوات (جذرها التربيعي يضرب x0)
- eps
- ضجيج المنحنى الجرس الذي تمت إضافته؛ تتعلم الشبكة التنبؤ به
- DDPM
- أخذ عينات عن طريق العودة عبر كل خطوة، مع ضوضاء جديدة في كل مرة شكل
- ، تغطية
- الحكم ثنائي الأبعاد: حصة العينات القريبة من الشكل الحقيقي، وحصة الشكل مع عينة قريبة منه
اضبط guess لكلا السؤالين على "linear" أو "cosine". ثم املأ table بمتوسط الخسارة النهائية ومتوسط درجة الالتزام بالشكل لكل جدول على البذور الثلاث المسجّلة، وnoisy_share: لكل جدول، نسبة الخطوات المئة التي يتبقى فيها أقل من 10% من تباين الإشارة (abar تحت 0.1؛ حجم الإشارة هو sqrt(abar)، نحو 0.32 هناك). أخيراً اضبط shows، أي السؤالين نفسيهما مُجاباً عنهما من جدولك. يبقى تخمينك كما وضعته.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.