اختبار الميزات باستخدام مصنف بسيط (linear probes)
لماذا هذا مهم أعطت أقرب جيران إجابة تقريبية. الاختبار القياسي للميزات المتعلمة هو linear probe: تجميد الميزات، تدريب linear classifier فقط فوقها مع بضع تسميات، وقياسه على صور جديدة. إذا كان بإمكان خط مستقيم فصل الأجسام، فإن الميزات قامت بالعمل الشاق.
المسبار هو softmax regression الخاص بـ Module 3، على الميزات بدلا من البكسلات:
- قم بتوحيد كل ميزة باستخدام المتوسط والانتشار لمجموعة التدريب (واستخدم نفس الأرقام على مجموعة الاختبار).
- النزول الاشتقاقي على الإنتروبيا المتقاطعة، جميع صفوف التدريب دفعة واحدة: 1000 خطوة، حجم الخطوة 0.5، اضمحلال الوزن 0.001.
- الدقة في صور الاختبار.
إنه ضعيف عمدا: نموذج خطي بـ 400 labels. هذا هو الهدف. لا يمكنه ابتكار features جيدة؛ يمكنه فقط قراءة ما تقوله الـ features بالفعل.
الكلمات والرموز في هذا الدرس
- مسبار خطي
- a مصنف خطي مدرب على ميزات مجمدة: اختبار لما تقوله الميزات بالفعل
- SimCLR
- تدريب ذاتي الإشراف مع عرضين لكل صورة و InfoNCE (Chen et al. 2020)
اكتب my_probe(F_train, y_train, F_test, y_test) كما هو موضح (تبدأ الأوزان والانحيازات من الصفر). ثم املأ accuracy لمشفر عشوائي (ssl.Encoder(32, seed=0)) ومشفر SimCLR المسجل باستخدام الـ probe الخاص بك. يتم حساب خط الأساس للبكسل الخام (768 رقماً لكل صورة) لك باستخدام الـ probe الخاص بالدورة، والذي يقوم بنفس العمليات الحسابية في float32 على عملية ضرب المصفوفات السريعة: نسخة float64 الخاصة بك ستستغرق نصف دقيقة على 768 مدخلات في المتصفح.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.