شبكة CNN صغيرة على الأرقام
لماذا هذا مهم هذه هي فكرة LeNet من عام 1998: convolution، ثم pooling، ثم convolution، ثم pooling، ثم classifier. ابنِها من الطبقات التي تعلمتها وشاهدها تتفوق على MLP في الأرقام المزاحة.
تحتوي مكتبة house library nnsim.engine على الطبقات التي قمت ببنائها: conv (3 بـ 3، نفس padding)، relu، pool2 (2 بـ 2 average)، gap (global average pooling)، matmul، cross_entropy و Adam. وزن conv لمرشحات 3 بـ 3 من قنوات C_in إلى C_out له شكل (9 * C_in, C_out).
مكتبة المنزل، في بطاقة واحدة (احتفظ بها لبقية الدورة؛ print(E.GUIDE) يعرضها مرة أخرى في أي درس)
- تغلف
E.T(array)الأرقام كـ tensor..dataهي المصفوفة (float32)؛.gradهيNoneحتى تصل إليهاbackward().
يملأ loss.backward()قيمة.gradفي كل tensor يعتمد عليه loss.
تأخذ opt = E.Adam(params, lr)قائمة من tensors. تقومopt.step()بتحديث كل واحد منها يحتوي على gradient ثم تعيد ضبط.gradالخاص به إلىNone، لذا لا تضطر أبدا لتصفير gradients بنفسك.- الصور هي قنوات أخيرة: (batch, rows, columns, channels).
E.conv(x, w)يحافظ على الحجم (same padding) ويحول C channels إلى F باستخدامwبشكل (9 * C, F).E.pool2يقلل الصفوف والأعمدة إلى النصف؛E.gapيزيلها عبر المتوسط، مما يعطي (batch, channels). E.cross_entropy(logits, y): logits (batch, classes) كـ tensor، و y مصفوفة أرقام صحيحة بسيطة. تعيد tensor يحتوي على رقم واحد؛float(loss.data)يقرأه.- A خطوة التدريب كاملة هي ثلاثة أسطر:
loss = E.cross_entropy(forward(Xb), yb)،loss.backward()،opt.step().
الجلسات المسجلة: - تسرد إعداداتها وأسماء مقاييسها؛
print(R.experiment(name))، ثمrun = exp.run(setting=value, ...)(أزواج الخطوة والخسارة)،run.loss(قاموس) وrun.metrics.run.final_loss.
استدعِ المنحنى مع chart: خمن training loss بعد epoch 1 وبعد epoch 8 (الأخير).
الكلمات والرموز في هذا الدرس
- convolution
- تحريك شبكة صغيرة من الأوزان (مرشح) عبر صورة، عملية ضرب نقطي واحدة لكل موضع
- filter، خريطة الميزات
- شبكة الأوزان الصغيرة المتعلمة؛ وصورة استجاباتها
- حشوة (p)، خطوة (s) تمت إضافة
- أصفار حول الحافة؛ كم بكسل يتحرك المرشح في كل خطوة
- pooling
- تصغير خريطة عن طريق الاحتفاظ بالحد الأقصى أو المتوسط لكل كتلة
- تم التسجيل
- قم بتشغيل الدورة التدريبية مرة واحدة وشحنها لك لتدرسها
املأ my_guess، ثم اكتب train(epochs, seed) التي تُرجع دالة predict(X). استخدم conv(1 to 16) + relu، وconv(16 to 32) + relu، وglobal average pooling، ثم طبقة خطية إلى 10 فئات. احصل على 90% على الأقل على أرقام الاختبار، و60% على الأقل على أرقام الاختبار المُزاحة بمقدار 2 بكسل (حيث أحرزت MLP نحو 21%). تتغيّر نتيجة الإزاحة كثيراً من بذرة إلى أخرى (تحصل إجابة الدورة نفسها على 0.76 إلى 0.89 عبر خمس بذور)، لذا وُضع الحد أدنى من ذلك بكثير. يعمل Adam بمعدل تعلّم نحو 1e-2 هنا؛ أما مع 3e-3 فتتعلّم هذه الشبكة الصغيرة ببطء شديد بالنسبة للدرس.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.