पाठ्यक्रम 246 में से पाठ 197 · Module 18: बिना labels के सीखना
Module 18: बिना labels के सीखना

SimCLR: एक तस्वीर के दो views

यह क्यों मायने रखता है अब पूरा तरीका: बेतरतीब views और InfoNCE, दोहराए। किसी भी पल कोई labels नहीं। यह क्या सीखता है लगभग पूरी तरह एक चुनाव पर निर्भर है जो आप करते हैं: दो views के बीच के कौन-से अंतर इसे नज़रअंदाज़ करने को कहा जाता है।

हर step: तस्वीरों का एक batch लें, ssl.augment से हर एक के दो बेतरतीब views बनाएँ, दोनों encode करें, उन्हें एक छोटे head से project करें, और InfoNCE न्यूनतम करें। Augmentations काम तय करते हैं: एक तस्वीर के दो views के बीच जो कुछ भी अलग है (crop की जगह, दर्पण छवि, चमक, संतृप्ति) वह है जिसे network नज़रअंदाज़ करना सीखता है। जो वैसा ही रहता है (object) वह है जिसे यह रखना सीखता है।

असली SimCLR runs हज़ारों steps और बड़े batches इस्तेमाल करते हैं। यहाँ आप loss गिरता देखने के लिए live एक छोटा चलाते हैं (चौड़ाई 8, batch 32, 80 steps), फिर कोर्स के दर्ज लंबे runs (चौड़ाई 32, 128 के 2500 steps) पढ़ते हैं।

दर्ज runs में उसी तरीके के दो रूप शामिल हैं: views में एक बेतरतीब hue घुमाव जोड़ना (SimCLR paper ने अपनी तस्वीरों पर मज़बूत रंग बदलाव ज़रूरी पाए), और एक ऊँचा temperature (0.5)।

क्षेत्र अब कहाँ है SimCLR को कई negatives (batch की दूसरी तस्वीरें) चाहिए, इसलिए यह बहुत बड़े batches के साथ सबसे अच्छा train होता है (paper ने 4,096 इस्तेमाल किए)। बाद के तरीके negatives छोड़ते हैं: BYOL (2020) और DINO (2021) एक network को अपनी धीरे अद्यतन copy से मेल खाने के लिए train करते हैं, और MAE (2021) एक image के तीन चौथाई patches छिपाकर उन्हें फिर बनाता है, इस module के ख़ाली-जगह-भरो का तस्वीर वर्ज़न। टेक्स्ट के लिए, वही बँटवारा है: masked prediction (BERT) और next-token prediction (GPT)।

इस पाठ के शब्द और चिह्न
masked prediction
input का हिस्सा छिपाना और network को उसे भरने के लिए train करना
view
एक तस्वीर की बेतरतीब ढंग से बदली copy: cropped, पलटी, ज़्यादा चमकीली, कम रंगीन
augmentation
वह बेतरतीब बदलाव जो एक view बनाता है; यह तय करता है कि network क्या नज़रअंदाज़ करना सीखता है
InfoNCE
उस सवाल पर cross-entropy जो batch ख़ुद तय करता है: कौन-सा दूसरा view उसी तस्वीर से आया?
temperature
softmax से पहले समानताएँ जिससे भाग दी जाती हैं; छोटा चुनाव को तीखा बनाता है
SimCLR
हर तस्वीर के दो views और InfoNCE के साथ self-supervised training (Chen et al. 2020)
आपकी बारी

live pretraining चलाएँ और live को पहले 10 और आख़िरी 10 steps पर औसत loss से भरें। फिर दर्ज runs से report भरें: कच्चे pixels, बेतरतीब encoder, SimCLR, hue घुमाव वाला SimCLR, और supervised के लिए probe accuracy (मूल objects), साथ में gap, SimCLR supervised से कितना पीछे है, एक अंश के रूप में (0.05 का मतलब 5 अंक)। आख़िर में hue_helped को True या False पर सेट करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।