المنهج الدراسي الدرس 172 من 246 · الوحدة 15: الضغط، إعادة البناء، التوليد (autoencoders و VAEs)
الوحدة 15: الضغط، إعادة البناء، التوليد (autoencoders و VAEs)

يمكنك التدريب من خلال أخذ العينات

لماذا هذا مهم الكود هو سحب عشوائي من N(mu, spread). تحتاج Backprop إلى ميل من loss إلى mu و logvar، و "رقم عشوائي" ليس له ميل. إعادة كتابة واحدة تصلحه، ويستخدم في مجالات أبعد من VAEs.

ارسم العشوائية أولا، من منحنى جرس ثابت: eps من N(0, 1). ثم ابنِ الكود منها:

code = mu + exp(logvar / 2) * eps

يحتوي code على نفس توزيع القيم تماما مثل سحب من N(mu, spread)، ولكن الآن هي حسابات حسابية عادية على mu و logvar، مع eps كمدخل بسيط. المنحدرات بسيطة: d code / d mu = 1، و d code / d logvar = 0.5 exp(logvar / 2) eps. هذا هو reparameterisation trick.

أرقام صغيرة

mu = 1, logvar = 0, eps = 0.5: الكود = 1 + 1 x 0.5 = 1.5. الميل إلى mu: 1. الميل إلى logvar: 0.5 x 1 x 0.5 = 0.25.

تحتاج إلى عملية جديدة واحدة لها، exp. يحتوي محرك الدورة بالفعل على واحدة (E.exp)؛ هنا تقوم ببناء عمليتك الخاصة، بطريقة Module 4: قيمة أمامية، وقاعدة خلفية تضرب التدرج الوارد في المنحدر المحلي (بالنسبة لـ exp، المنحدر هو exp نفسه).

في محرك house engine، العملية هي tensor out = E.T(value, (parent,)) مع قاعدة out.back = lambda g: parent._acc(g * local_slope): back يستقبل التدرج الواصل إلى out، و _acc يضيف تدرجاً إلى الأب. E.GUIDE يطبع أجزاء المحرك.

الكلمات والرموز في هذا الدرس
كود (كامِن)
الأرقام القليلة التي ينتجها encoder من صورة واحدة
VAE
variational autoencoder: هو autoencoder يتم سحب الرموز الخاصة به لملء N(0, 1)، بحيث يتم فك تشفير الرموز العشوائية إلى صور جديدة
mu, logvar
المركز ولوغاريتم التباين المربع لرقم كود في VAE
إعادة المعلمة
code = mu + exp(logvar / 2) x eps، مع سحب eps أولا، لذا تصل التدرجات إلى mu و logvar
دورك

اكتب exp_op(a) كعملية محرك (أرجع E.T مع الآباء وقاعدة back). اكتب reparam(mu, logvar, eps) مع exp_op وE.scale وE.mul وE.add. ثم تحقق من كلا التدرجين مقابل nudging واضبط max_gap على أكبر فرق تجده.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.