एक सादे classifier से features परखना (linear probes)
यह क्यों मायने रखता है सबसे क़रीबी पड़ोसियों ने एक मोटा जवाब दिया। सीखे features की मानक परख एक linear probe है: features जमा दें, ऊपर बस एक linear classifier कुछ labels के साथ train करें, और उसे नई तस्वीरों पर मापें। अगर एक सीधी रेखा objects को अलग कर सके, तो features ने कठिन काम किया।
probe Module 3 का softmax regression है, pixels के बजाय features पर:
- हर feature को training set के औसत और फैलाव से standardise करें (और test set पर वही संख्याएँ इस्तेमाल करें)।
- cross-entropy पर gradient descent, सारी training rows एक साथ: 1000 steps, step आकार 0.5, weight decay 0.001।
- test तस्वीरों पर accuracy।
यह जानबूझकर कमज़ोर है: 400 labels के साथ एक linear model। यही मुद्दा है। यह अच्छे features ईजाद नहीं कर सकता; यह बस वह पढ़ सकता है जो features पहले से कहते हैं।
इस पाठ के शब्द और चिह्न
- linear probe
- जमे features पर train एक linear classifier: इसकी परख कि features पहले से क्या कहते हैं
- SimCLR
- हर तस्वीर के दो views और InfoNCE के साथ self-supervised training (Chen et al. 2020)
बताए तरीके से my_probe(F_train, y_train, F_test, y_test) लिखें (weights और biases शून्य पर शुरू होते हैं)। फिर अपने probe से एक बेतरतीब encoder (ssl.Encoder(32, seed=0)) और दर्ज SimCLR encoder के लिए accuracy भरें। कच्चे-pixel आधार (हर तस्वीर पर 768 संख्याएँ) आपके लिए कोर्स के probe से निकाला गया है, जो तेज़ matrix गुणा पर float32 में वही अंकगणित करता है: आपका float64 वर्ज़न ब्राउज़र में 768 inputs पर आधा मिनट लेता।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।