تعلم التنبؤ بالضجيج
لماذا هذا مهم وصفة التدريب الكاملة لنموذج diffusion تتسع في خمسة أسطر، وهي مجرد regression بسيط: اعرض على الشبكة نقطة مشوشة والخطوة، واطلب الضجيج. لا توجد لعبة، ولا شبكة ثانية.
خطوة تدريب واحدة:
- خذ مجموعة من النقاط الحقيقية x0، ولكل منها، خطوة عشوائية t وضجيجاً جديداً eps.
- انتقل إلى x_t باستخدام الاختصار.
- اطلب من الشبكة الضجيج:
model.predict(x_t, t). - Loss = متوسط (predicted noise - eps) تربيع.
- للخلف، خطوة.
توقّع المنحنى
قبل التشغيل، خمن قيمة الـ loss في ثلاث لحظات: خلال أول 10 خطوات، وحول الخطوة 300، وحول الخطوة 3000. هناك مرجعان: شبكة تتوقع دائماً 0 تعطي قيمة الـ loss بالضبط 1 (لأن الـ noise قد انتشر بمقدار 1)، وشبكة مثالية لا يمكنها الوصول إلى 0، لأن الـ noise في الخطوات المليئة بالضجيج يسهل تخمينه لكن في الخطوات النظيفة تقريباً يكون من المستحيل تقريباً.
حيث يوجد الحقل الآن إن التنبؤ بالضجيج هو، حتى حد معين، نفس تقدير score: الاتجاه الذي تصبح فيه البيانات المشوشة أكثر احتمالية (Song and Ermon 2019; Ho et al. 2020). لهذا السبب تشير الأسهم إلى المنزل. لا تقوم مولدات الصور الحقيقية بإضافة ضجيج إلى البكسلات: بل تقوم أولا بضغط كل صورة باستخدام autoencoder، كما في Module 15، وتشغيل diffusion على الأكواد الصغيرة (latent diffusion, Rombach et al. 2022). كل شيء في هذا الوحدة ينتقل؛ فقط المساحة تتغير.
الكلمات والرموز في هذا الدرس
- نموذج الانتشار شبكة
- مدربة لإزالة الضجيج تدريجيا؛ تعمل بشكل عكسي من الضجيج النقي، وهي تولد
- x0، x_t
- البيانات النظيفة، والبيانات نفسها بعد t من خطوات الضجيج
- eps
- ضجيج المنحنى الجرس الذي تمت إضافته؛ تتعلم الشبكة التنبؤ به شكل
- ، تغطية
- القاضي ثنائي الأبعاد: حصة العينات القريبة من الشكل الحقيقي، وحصة الشكل مع عينة قريبة منه
املأ my_guess، ثم اكتب جسم الحلقة (3000 خطوة من 256 نقطة حلزونية؛ difflab.shape('spiral', 256, rng)، difflab.add_noise). أضف خسارة كل خطوة إلى losses. تنجح بخسارة نهائية تحت 0.40 وعيّنات بنسبة 0.75 على الأقل على الشكل.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.