المنهج الدراسي الدرس 119 من 246 · الوحدة 10: الشبكات التي ترى (CNNs)
الوحدة 10: الشبكات التي ترى (CNNs)

شبكة CNN صغيرة على الأرقام

لماذا هذا مهم هذه هي فكرة LeNet من عام 1998: convolution، ثم pooling، ثم convolution، ثم pooling، ثم classifier. ابنِها من الطبقات التي تعلمتها وشاهدها تتفوق على MLP في الأرقام المزاحة.

تحتوي مكتبة house library nnsim.engine على الطبقات التي قمت ببنائها: conv (3 بـ 3، نفس padding)، relu، pool2 (2 بـ 2 average)، gap (global average pooling)، matmul، cross_entropy و Adam. وزن conv لمرشحات 3 بـ 3 من قنوات C_in إلى C_out له شكل (9 * C_in, C_out).

مكتبة المنزل، في بطاقة واحدة (احتفظ بها لبقية الدورة؛ print(E.GUIDE) يعرضها مرة أخرى في أي درس)

    تغلف
  • E.T(array) الأرقام كـ tensor. .data هي المصفوفة (float32)؛ .grad هي None حتى تصل إليها backward().
  • يملأ
  • loss.backward() قيمة .grad في كل tensor يعتمد عليه loss.
  • تأخذ
  • opt = E.Adam(params, lr) قائمة من tensors. تقوم opt.step() بتحديث كل واحد منها يحتوي على gradient ثم تعيد ضبط .grad الخاص به إلى None، لذا لا تضطر أبدا لتصفير gradients بنفسك.
  • الصور هي قنوات أخيرة: (batch, rows, columns, channels). E.conv(x, w) يحافظ على الحجم (same padding) ويحول C channels إلى F باستخدام w بشكل (9 * C, F). E.pool2 يقلل الصفوف والأعمدة إلى النصف؛ E.gap يزيلها عبر المتوسط، مما يعطي (batch, channels).
  • E.cross_entropy(logits, y): logits (batch, classes) كـ tensor، و y مصفوفة أرقام صحيحة بسيطة. تعيد tensor يحتوي على رقم واحد؛ float(loss.data) يقرأه.
  • A خطوة التدريب كاملة هي ثلاثة أسطر: loss = E.cross_entropy(forward(Xb), yb)، loss.backward()، opt.step().
  • الجلسات المسجلة:
  • تسرد إعداداتها وأسماء مقاييسها؛ print(R.experiment(name))، ثم run = exp.run(setting=value, ...) (أزواج الخطوة والخسارة)، run.loss (قاموس) و run.metrics.run.final_loss.

استدعِ المنحنى مع chart: خمن training loss بعد epoch 1 وبعد epoch 8 (الأخير).

الكلمات والرموز في هذا الدرس
convolution
تحريك شبكة صغيرة من الأوزان (مرشح) عبر صورة، عملية ضرب نقطي واحدة لكل موضع
filter، خريطة الميزات
شبكة الأوزان الصغيرة المتعلمة؛ وصورة استجاباتها
حشوة (p)، خطوة (s)
تمت إضافة
أصفار حول الحافة؛ كم بكسل يتحرك المرشح في كل خطوة
pooling
تصغير خريطة عن طريق الاحتفاظ بالحد الأقصى أو المتوسط لكل كتلة
تم التسجيل
قم بتشغيل الدورة التدريبية مرة واحدة وشحنها لك لتدرسها
دورك

املأ my_guess، ثم اكتب train(epochs, seed) التي تُرجع دالة predict(X). استخدم conv(1 to 16) + relu، وconv(16 to 32) + relu، وglobal average pooling، ثم طبقة خطية إلى 10 فئات. احصل على 90% على الأقل على أرقام الاختبار، و60% على الأقل على أرقام الاختبار المُزاحة بمقدار 2 بكسل (حيث أحرزت MLP نحو 21%). تتغيّر نتيجة الإزاحة كثيراً من بذرة إلى أخرى (تحصل إجابة الدورة نفسها على 0.76 إلى 0.89 عبر خمس بذور)، لذا وُضع الحد أدنى من ذلك بكثير. يعمل Adam بمعدل تعلّم نحو 1e-2 هنا؛ أما مع 3e-3 فتتعلّم هذه الشبكة الصغيرة ببطء شديد بالنسبة للدرس.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.