पाठ्यक्रम 246 में से पाठ 198 · Module 18: बिना labels के सीखना
Module 18: बिना labels के सीखना

तस्वीरों से captions मिलाना (CLIP विचार) (वैकल्पिक)

यह क्यों मायने रखता है टेक्स्ट-से-image खोज, और image generators का "समझ" हिस्सा, एक तरकीब से शुरू होते हैं: एक तस्वीर encoder और एक टेक्स्ट encoder ऐसे train करें कि एक तस्वीर और उसका caption पास-पास आएँ। यह फिर InfoNCE है, दो तरह के डेटा के पार। यह पाठ वैकल्पिक है: प्रमाणपत्र के लिए ज़रूरी नहीं।

यहाँ हर तस्वीर एक सच्चे caption के साथ आती है, इससे लिखा कि वह कैसे बनी: "a green ring on the left"। तस्वीर पक्ष जमा SimCLR encoder और 16 संख्याओं तक एक train लायक layer है। टेक्स्ट पक्ष शब्दों का एक थैला है (हर शब्द की एक संख्या: क्या यह caption में है?) गुणा 16 संख्याओं तक एक train लायक layer।

Loss सममित है: n जोड़ों के एक batch के लिए, हर तस्वीर को n captions में से अपना caption चुनना होगा, और हर caption को n तस्वीरों में से अपनी तस्वीर। उसी n x n समानता grid पर दो cross-entropies, एक rows के साथ और एक columns के साथ।

परख "सही तस्वीर पहले" से ज़्यादा पूछती है: क्या सबसे मेल खाती तस्वीर में कम से कम caption का रंग है? उसका object? उसकी ओर?

इस पाठ के शब्द और चिह्न
InfoNCE
उस सवाल पर cross-entropy जो batch ख़ुद तय करता है: कौन-सा दूसरा view उसी तस्वीर से आया?
temperature
softmax से पहले समानताएँ जिससे भाग दी जाती हैं; छोटा चुनाव को तीखा बनाता है
SimCLR
हर तस्वीर के दो views और InfoNCE के साथ self-supervised training (Chen et al. 2020)
आपकी बारी

pair_loss(a, b, temperature) लिखें (आकार (n, 16) के engine tensors: दोनों को ssl.normalize से normalise करें (हर row लंबाई 1 तक, जैसे InfoNCE पाठ में), समानताएँ temperature से भाग, rows के साथ cross-entropy जमा columns के साथ cross-entropy) और temperature 0.1 पर 128 जोड़ों के 600 steps train करें। कम से कम 5% test captions के लिए सही तस्वीर पहले के साथ पास करें (संयोग 0.5%)।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।