إضافة الضجيج، خطوة بخطوة
لماذا هذا مهم تعمل مولدات الصور خلف فن الذكاء الاصطناعي اليوم بشكل عكسي من الضجيج. لتعلم إزالة الضجيج، يجب على الشبكة أولا أن ترى بالضبط كيف تمت إضافة الضجيج. ذلك النصف الأمامي هو حساب بحت، وله اختصار يجعل التدريب ممكنا.
خذ نقطة نظيفة x0 (قيمة بكسل، أو نقطة في 2D). في كل خطوة من T = 100، قم بتصغيرها قليلا وأضف قليلا من الضوضاء الجديدة:
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps، مع eps مستخرجة من N(0, 1)
القائمة beta_0 ... beta_99 هي noise schedule. شاهد المشهد: لولب من النقاط يذوب في سحابة مستديرة من الضجيج.
اختصار
إن تقليص وإضافة ضجيج منحنى الجرس مراراً وتكراراً هو نفسه القيام بذلك مرة واحدة مع الإجماليات. اكتب abar_t لضرب جميع عوامل (1 - beta) حتى الخطوة t. ثم
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
في خطوة واحدة: الإشارة المتبقية هي sqrt(abar_t)، وانتشار الضجيج هو sqrt(1 - abar_t). يمكن للتدريب القفز إلى أي خطوة فوراً، بدلاً من المشي إليها.
أرقام صغيرة
خطوتان مع beta = 0.1 لكل منهما: abar = 0.9 x 0.9 = 0.81. من x0 = 1 الإشارة المتبقية هي sqrt(0.81) = 0.9 وانتشار الضجيج هو sqrt(0.19) = 0.44. المشي: بعد الخطوة 1، 0.949 x 1 بالإضافة إلى ضجيج بانتشار 0.316؛ بعد الخطوة 2، كل شيء ينكمش بمقدار 0.949 مرة أخرى وينضم ضجيج جديد بانتشار 0.316. تضاف الانتشارات كمربعات: 0.949^2 x 0.1 + 0.1 = 0.19. نفس الإجابة.
الكلمات والرموز في هذا الدرس
- جدول الضوضاء (beta)
- كم من الضجيج الجديد يتم خلطه في كل خطوة
- abar
- حصة الإشارة الأصلية المتبقية بعد عدد من الخطوات (جذرها التربيعي يضرب x0)
- x0، x_t
- البيانات النظيفة، والبيانات نفسها بعد t خطوات من الضجيج
- eps
- ضجيج المنحنى الجرس الذي تمت إضافته؛ تتعلم الشبكة التنبؤ به
اكتب walk(x0, t, beta, rng) (خطوة واحدة في كل مرة، t + 1 خطوة من الخطوة 0 إلى الخطوة t) و jump(x0, t, abar, eps) (الاختصار). ثم أضف ضجيجا إلى 20000 نسخة من النقطة (1.0, -0.5) إلى الخطوة 40 في كلا الاتجاهين واملأ stats بمتوسط وانتشار كل نسخة (لكل إحداثي) بجانب ما يذكره الجدول الذي يجب أن تكون عليه.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.