إعادة استخدام شبكة مدربة (التعلم بنقل المعرفة)
لماذا هذا مهم نادرا ما تتوفر لديك الكثير من البيانات المصنفة لمهمتك الخاصة. الشبكة المدربة على مجموعة بيانات كبيرة ذات صلة تعرف بالفعل ميزات مفيدة؛ إعادة استخدامها تجعل مجموعة البيانات الصغيرة تغطي مسافة طويلة.
الخطة: تدريب طبقات conv على مجموعة بيانات أشكال كبيرة ونظيفة. ثم مواجهة مهمة جديدة أصعب مع 40 صورة مصنفة فقط: نفس الأشكال، ولكنها أكثر ضجيجا. إبقاء طبقات conv المدربة مجمدة وتدريب طبقة نهائية جديدة فقط على الميزات المتوسطة عبر الصورة كاملة (الميزات المستقلة عن الموقع تعمم من أمثلة قليلة). مقارنة ذلك بتدريب الشبكة كاملة من الصفر على الـ 40 صورة.
Frozen: الطبقات التي لا يتم تحديث أوزانها أثناء التدريب. Fine-tuning: الاستمرار في تدريب شبكة مدربة مسبقا على بيانات جديدة.
الكلمات والرموز في هذا الدرس
- تعلم النقل
- إعادة استخدام الطبقات المدربة على مهمة واحدة لمهمة أخرى
- تم التسجيل
- قم بتشغيل الدورة التدريبية مرة واحدة وشحنها لك لتدرسها
تم إجراء التدريب المسبق مرة واحدة بواسطة الدورة ويتم تحميل أوزانها لك (شبكة مسجلة). اكتب train_head(w1, w2, X, y, steps) الذي يدرب فقط طبقة إخراج جديدة من 16 إلى 4 فوق طبقات conv المجمدة (Adam عند 1e-2 يعمل) ويعيد دالة predict، و train_scratch(X, y, steps) الذي يدرب الطبقات الثلاث جميعاً من أوزان عشوائية جديدة. يتم تشغيل الاختبار على كل من 1,000 صورة اختبار مشوشة. يجب أن يتفوق نموذج النقل الخاص بك على شبكة الدورة المبنية من الصفر (إعدادات ثابتة: 8 و 16 قناة، Adam 3e-3، 300 خطوة، حوالي 58%) بنسبة 8 نقاط على الأقل؛ يحصل تشغيل النقل في الدورة على حوالي 72%. يجب على شبكتك المبنية من الصفر فقط أن تتعلم شيئاً (أعلى من 35%، حيث الاحتمال هو 25%). إذا تفوقت شبكتك على شبكة الدورة المبنية من الصفر، فهذا عمل جيد: ضبط تدريب الشبكة من الصفر جيداً هو مهارة حقيقية، وهذا هو أيضاً سبب تثبيت الإعدادات مسبقاً لإجراء مقارنة عادلة.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.