اختر شريكك من المجموعة (InfoNCE)
لماذا هذا مهم إشارة التدريب الكاملة لـ SimCLR هي فقد واحد، وأنت تعرفه بالفعل: إنه cross-entropy، في سؤال اختيار من متعدد تضعه الشبكة لنفسها.
خذ مجموعة من n صور وقم بإنشاء عرضين عشوائيين لكل منها (قص، قلب، تغيير السطوع واللون). هذا يعطي 2n من العروض. لكل عرض، السؤال هو: أي من العروض الـ 2n - 1 الأخرى جاءت من نفس الصورة؟واحد فقط منها.
- قم بتشفير كل عرض إلى متجه قصير z، وقم بتغيير مقياس كل z إلى طول 1.
- تشابه وجهتي نظر = حاصل ضربهما النقطي (جيب التمام)، مقسوما على درجة الحرارة (0.2 هنا): درجات الحرارة المنخفضة تجعل الدرجات أكثر حدة. قد لا تختار
- A نفسها: يتم تعيين درجتها إلى سالب ما لا نهاية.
- الإنتروبيا المتقاطعة، مع اعتبار الإجابة الصحيحة هي الشريك: شريك i هو i + n (والعكس صحيح).
شاهد المشهد: ست صور، منظوران لكل منها، شبكة التشابهات، وخيار كل صف.
أرقام صغيرة
صورتان، أي أربع مشاهد. إذا كانت تشابهات المشهد 0 مع المشاهد 1، 2، 3 هي 0.1، 0.9، 0.2 (شريكه هو المشهد 2)، وبقسمتها على 0.2 تصبح 0.5، 4.5، 1.0. تعطي Softmax للشريك 0.954، وخسارة المشهد 0 هي -log 0.954 = 0.047.
الكلمات والرموز في هذا الدرس
- view نسخة معدلة عشوائيا من صورة: مقصوصة، مقلوبة، أكثر سطوعا، أقل ألوانا
- InfoNCE
- cross-entropy على سؤال يطرحه الbatch: أي عرض آخر جاء من نفس الصورة؟
- temperature
- ما هي التشابهات التي يتم تقسيمها قبل softmax؛ القيم الأصغر تجعل الاختيار أكثر حدة
- SimCLR
- تدريب ذاتي الإشراف باستخدام منظورين لكل صورة و InfoNCE (Chen et al. 2020)
اكتب info_nce(z, temperature) باستخدام NumPy العادية لـ z بشكل (2n, d)، مع إرجاع متوسط loss لجميع صفوف 2n. ثم احسب example: الـ loss لدفعة الأوجه الأربعة في البداية.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.