المنهج الدراسي الدرس 197 من 246 · الوحدة 18: التعلم بدون تسميات
الوحدة 18: التعلم بدون تسميات

SimCLR: منظوران لصورة واحدة

لماذا هذا مهم الآن الطريقة كاملة: عروض عشوائية بالإضافة إلى InfoNCE، مكررة. لا توجد تسميات في أي مرحلة. ما يتعلمه يعتمد بشكل شبه كامل على خيار واحد تتخذه: أي الاختلافات بين عرضين يتم إخباره بتجاهلها.

كل خطوة: خذ دفعة من الصور، اصنع عرضين عشوائيين لكل صورة باستخدام ssl.augment، قم بتشفير كليهما، قم بإسقاطهما باستخدام head صغير، وقلل InfoNCE. تحدد عمليات التعزيز المهمة: كل ما يختلف بين عرضين لصورة واحدة (موضع الـ crop، الصورة المرآتية، السطوع، التشبع) هو ما تتعلم الشبكة تجاهله. كل ما يبقى ثابتا هو ما تتعلم الاحتفاظ به.

تستخدم عمليات Real SimCLR الحقيقية آلاف الخطوات ودفعات كبيرة. هنا تقوم بتشغيل عملية قصيرة مباشرة (width 8, batch 32, 80 steps) لمراقبة انخفاض loss، ثم تقرأ العمليات الطويلة المسجلة في الدورة (width 32, 2500 steps of 128).

تتضمن التشغيلات المسجلة نوعين من نفس الوصفة: إضافة hue rotation عشوائي إلى المشاهد (وجدت ورقة SimCLR تغيرات لونية قوية ضرورية في صورها)، ودرجة حرارة أعلى (0.5).

حيث يكون الحقل الآن يحتاج SimCLR إلى الكثير من العينات السالبة (صور أخرى في الدفعة)، لذا يتدرب بشكل أفضل مع دفعات كبيرة جداً (استخدمت الورقة 4,096). الطرق اللاحقة تسقط العينات السالبة: BYOL (2020) و DINO (2021) يدربان شبكة لمطابقة نسخة محدثة ببطء من نفسها، و MAE (2021) يخفي ثلاثة أرباع رقع الصورة ويعيد بناءها، وهي نسخة الصورة من خاصية ملء الفراغات لهذه الوحدة. بالنسبة للنصوص، يوجد نفس التقسيم: التنبؤ المقنع (BERT) والتنبؤ بالرمز التالي (GPT).

الكلمات والرموز في هذا الدرس
التنبؤ المقنع
إخفاء جزء من المدخلات وتدريب الشبكة لملئه
view
نسخة معدلة عشوائيا من صورة: مقصوصة، مقلوبة، أكثر سطوعا، أقل ألوانا
augmentation
التغيير العشوائي الذي يصنع العرض؛ هو يقرر ما تتعلمه الشبكة لتتجاهله
InfoNCE
cross-entropy على سؤال يطرحه الـ batch: أي عرض آخر جاء من نفس الصورة؟
temperature
ما هي التشابهات التي يتم تقسيمها قبل softmax؛ القيم الأصغر تجعل الاختيار أكثر حدة
SimCLR
تدريب ذاتي الإشراف باستخدام عرضين لكل صورة و InfoNCE (Chen et al. 2020)
دورك

شغّل التدريب المسبق المباشر واملأ live بمتوسط الخسارة على أول 10 خطوات وآخر 10 خطوات. ثم املأ report من التشغيلات المسجّلة: دقة المسبار (الأجسام الأصلية) للبكسلات الخام، والمُرمِّز العشوائي، وSimCLR، وSimCLR مع تدوير الصبغة، والمُشرَف عليه، إضافة إلى gap، أي مقدار تأخّر SimCLR عن المُشرَف عليه، ككسر (0.05 تعني 5 نقاط). أخيراً اضبط hue_helped على True أو False.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.