पाठ्यक्रम 246 में से पाठ 196 · Module 18: बिना labels के सीखना
Module 18: बिना labels के सीखना

batch में से अपना साथी चुनें (InfoNCE)

यह क्यों मायने रखता है SimCLR का पूरा training signal एक loss है, और आप उसे पहले से जानते हैं: यह cross-entropy है, एक ऐसे बहुविकल्पी सवाल पर जो network ख़ुद तय करता है।

n तस्वीरों का एक batch लें और हर एक के दो बेतरतीब views बनाएँ (crop, पलटें, चमक और रंग बदलें)। यह 2n views देता है। हर view के लिए, सवाल है: बाक़ी 2n - 1 views में से कौन-सा उसी तस्वीर से आया? ठीक एक आया।

  1. हर view को एक छोटे vector z में encode करें, और हर z को लंबाई 1 तक scale करें।
  2. दो views की समानता = उनका dot product (cosine), एक temperature (यहाँ 0.2) से भाग: छोटे temperatures अंकों को तीखा बनाते हैं।
  3. एक view ख़ुद को नहीं चुन सकता: उसका अपना अंक ऋण अनंत पर सेट होता है।
  4. Cross-entropy, सही जवाब साथी होते हुए: view i का साथी i + n है (और उल्टा)।

दृश्य देखें: छह तस्वीरें, हर एक के दो views, समानताओं का grid, और हर row का चुनाव।

छोटी संख्याएँ

दो तस्वीरें, इसलिए चार views। अगर views 1, 2, 3 से view 0 की समानताएँ 0.1, 0.9, 0.2 हैं (उसका साथी view 2 है), 0.2 से भाग देकर वे 0.5, 4.5, 1.0 बनती हैं। Softmax साथी को 0.954 देता है, और view 0 का loss -log 0.954 = 0.047 है।

इस पाठ के शब्द और चिह्न
view
एक तस्वीर की बेतरतीब ढंग से बदली copy: cropped, पलटी, ज़्यादा चमकीली, कम रंगीन
InfoNCE
उस सवाल पर cross-entropy जो batch ख़ुद तय करता है: कौन-सा दूसरा view उसी तस्वीर से आया?
temperature
softmax से पहले समानताएँ जिससे भाग दी जाती हैं; छोटा चुनाव को तीखा बनाता है
SimCLR
हर तस्वीर के दो views और InfoNCE के साथ self-supervised training (Chen et al. 2020)
आपकी बारी

आकार (2n, d) के z के लिए सादे NumPy में info_nce(z, temperature) लिखें, सारी 2n rows पर औसत loss लौटाते हुए। फिर example निकालें: starter के चार-view batch का loss।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।