مطابقة التعليقات مع الصور (فكرة CLIP) (اختياري)
لماذا هذا مهم يبدأ البحث عن الصور من النص، وجزء الفهم في مولدات الصور، من خدعة واحدة: تدريب picture encoder و text encoder بحيث تقع الصورة والتعليق الخاص بها بالقرب من بعضهما البعض. إنه InfoNCE مرة أخرى، عبر نوعين من البيانات. هذا الدرس اختياري: ليس مطلوبا للحصول على الشهادة.
كل صورة هنا تأتي مع وصف حقيقي، مكتوب بناءً على كيفية توليدها: "حلقة خضراء على اليسار". جانب الصورة هو SimCLR encoder المجمد بالإضافة إلى طبقة واحدة قابلة للتدريب إلى 16 رقماً. جانب النص هو bag of words (رقم واحد لكل كلمة: هل هي في الوصف؟) مضروبة في طبقة واحدة قابلة للتدريب إلى 16 رقماً.
الخسارة متماثلة: لمجموعة من n من الأزواج، يجب على كل صورة اختيار وصفها من بين n من الأوصاف، وعلى كل وصف اختيار صورته من بين n من الصور. يتم حساب قيمتين من cross-entropies فوق شبكة تشابه واحدة بحجم n x n، واحدة على طول الصفوف والأخرى على طول الأعمدة.
يطلب الاختبار أكثر من "الصورة الصحيحة أولا": هل تحتوي الصورة الأفضل تطابقا على لون التعليق على الأقل؟ هل تحتوي على كائنها؟ هل تحتوي على جانبها؟
الكلمات والرموز في هذا الدرس
- InfoNCE
- cross-entropy على سؤال يطرحه الbatch: أي عرض آخر جاء من نفس الصورة؟
- temperature
- ما هي أوجه التشابه التي يتم تقسيمها قبل softmax؛ القيم الأصغر تجعل الاختيار أكثر حدة
- SimCLR
- تدريب ذاتي الإشراف مع عرضين لكل صورة و InfoNCE (Chen et al. 2020)
اكتب pair_loss(a, b, temperature) (تنسورات المحرك بشكل (n, 16): قم بتطبيع كليهما باستخدام ssl.normalize (كل صف بطول 1، كما في درس InfoNCE، التشابهات مقسومة على درجة الحرارة، الإنتروبيا المتقاطعة على طول الصفوف زائد الإنتروبيا المتقاطعة على طول الأعمدة) ودرب 600 خطوة من 128 زوجا عند درجة حرارة 0.1. مرر الصورة الصحيحة أولا لما لا يقل عن 5% من تسميات الاختبار (فرصة 0.5%).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.