يمكنك التدريب من خلال أخذ العينات
لماذا هذا مهم الكود هو سحب عشوائي من N(mu, spread). تحتاج Backprop إلى ميل من loss إلى mu و logvar، و "رقم عشوائي" ليس له ميل. إعادة كتابة واحدة تصلحه، ويستخدم في مجالات أبعد من VAEs.
ارسم العشوائية أولا، من منحنى جرس ثابت: eps من N(0, 1). ثم ابنِ الكود منها:
code = mu + exp(logvar / 2) * eps
يحتوي code على نفس توزيع القيم تماما مثل سحب من N(mu, spread)، ولكن الآن هي حسابات حسابية عادية على mu و logvar، مع eps كمدخل بسيط. المنحدرات بسيطة: d code / d mu = 1، و d code / d logvar = 0.5 exp(logvar / 2) eps. هذا هو reparameterisation trick.
أرقام صغيرة
mu = 1, logvar = 0, eps = 0.5: الكود = 1 + 1 x 0.5 = 1.5. الميل إلى mu: 1. الميل إلى logvar: 0.5 x 1 x 0.5 = 0.25.
تحتاج إلى عملية جديدة واحدة لها، exp. يحتوي محرك الدورة بالفعل على واحدة (E.exp)؛ هنا تقوم ببناء عمليتك الخاصة، بطريقة Module 4: قيمة أمامية، وقاعدة خلفية تضرب التدرج الوارد في المنحدر المحلي (بالنسبة لـ exp، المنحدر هو exp نفسه).
في محرك house engine، العملية هي tensor out = E.T(value, (parent,)) مع قاعدة out.back = lambda g: parent._acc(g * local_slope): back يستقبل التدرج الواصل إلى out، و _acc يضيف تدرجاً إلى الأب. E.GUIDE يطبع أجزاء المحرك.
الكلمات والرموز في هذا الدرس
- كود (كامِن)
- الأرقام القليلة التي ينتجها encoder من صورة واحدة
- VAE
- variational autoencoder: هو autoencoder يتم سحب الرموز الخاصة به لملء N(0, 1)، بحيث يتم فك تشفير الرموز العشوائية إلى صور جديدة
- mu, logvar
- المركز ولوغاريتم التباين المربع لرقم كود في VAE
- إعادة المعلمة
- code = mu + exp(logvar / 2) x eps، مع سحب eps أولا، لذا تصل التدرجات إلى mu و logvar
اكتب exp_op(a) كعملية محرك (أرجع E.T مع الآباء وقاعدة back). اكتب reparam(mu, logvar, eps) مع exp_op وE.scale وE.mul وE.add. ثم تحقق من كلا التدرجين مقابل nudging واضبط max_gap على أكبر فرق تجده.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.