batch में से अपना साथी चुनें (InfoNCE)
यह क्यों मायने रखता है SimCLR का पूरा training signal एक loss है, और आप उसे पहले से जानते हैं: यह cross-entropy है, एक ऐसे बहुविकल्पी सवाल पर जो network ख़ुद तय करता है।
n तस्वीरों का एक batch लें और हर एक के दो बेतरतीब views बनाएँ (crop, पलटें, चमक और रंग बदलें)। यह 2n views देता है। हर view के लिए, सवाल है: बाक़ी 2n - 1 views में से कौन-सा उसी तस्वीर से आया? ठीक एक आया।
- हर view को एक छोटे vector z में encode करें, और हर z को लंबाई 1 तक scale करें।
- दो views की समानता = उनका dot product (cosine), एक temperature (यहाँ 0.2) से भाग: छोटे temperatures अंकों को तीखा बनाते हैं।
- एक view ख़ुद को नहीं चुन सकता: उसका अपना अंक ऋण अनंत पर सेट होता है।
- Cross-entropy, सही जवाब साथी होते हुए: view i का साथी i + n है (और उल्टा)।
दृश्य देखें: छह तस्वीरें, हर एक के दो views, समानताओं का grid, और हर row का चुनाव।
छोटी संख्याएँ
दो तस्वीरें, इसलिए चार views। अगर views 1, 2, 3 से view 0 की समानताएँ 0.1, 0.9, 0.2 हैं (उसका साथी view 2 है), 0.2 से भाग देकर वे 0.5, 4.5, 1.0 बनती हैं। Softmax साथी को 0.954 देता है, और view 0 का loss -log 0.954 = 0.047 है।
इस पाठ के शब्द और चिह्न
- view
- एक तस्वीर की बेतरतीब ढंग से बदली copy: cropped, पलटी, ज़्यादा चमकीली, कम रंगीन
- InfoNCE
- उस सवाल पर cross-entropy जो batch ख़ुद तय करता है: कौन-सा दूसरा view उसी तस्वीर से आया?
- temperature
- softmax से पहले समानताएँ जिससे भाग दी जाती हैं; छोटा चुनाव को तीखा बनाता है
- SimCLR
- हर तस्वीर के दो views और InfoNCE के साथ self-supervised training (Chen et al. 2020)
आकार (2n, d) के z के लिए सादे NumPy में info_nce(z, temperature) लिखें, सारी 2n rows पर औसत loss लौटाते हुए। फिर example निकालें: starter के चार-view batch का loss।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।