पाठ्यक्रम 246 में से पाठ 66 · Module 5: Optimisation
Module 5: Optimisation

शोर भरे steps (SGD और minibatches)

यह क्यों मायने रखता है असली datasets में लाखों उदाहरण होते हैं। हर step के लिए उन सब पर ठीक gradient निकालना बहुत धीमा है, इसलिए हम उसका अनुमान एक छोटे batch से लगाते हैं।

एक minibatch gradient सारे 512 के बजाय, मान लें, 32 बेतरतीब उदाहरण इस्तेमाल करता है। यह मोटे तौर पर ढलान नीचे इशारा करता है, कुछ शोर के साथ। आपको एक ठीक step की क़ीमत पर 16 सस्ते शोर भरे steps मिलते हैं, और व्यवहार में वह आसानी से जीतता है।

शोर क्या करता है

loss वक्र चिकना होने के बजाय दाँतेदार बनता है, और तली के पास यह पूरी तरह कभी नहीं टिकता: यह न्यूनतम के आस-पास हिलता है। training में देर से learning rate घटाना हिलना शांत करता है। बड़े networks में कुछ शोर मददगार भी है, चाल को बुरी जगहों से हिलाकर बाहर निकालता है।

SGD: stochastic gradient descent, gradient के minibatch अनुमानों के साथ gradient descent।

सार कई सस्ते शोर भरे steps कुछ ठीक वालों को हराते हैं।

इस पाठ के शब्द और चिह्न
SGD
छोटे बेतरतीब batches इस्तेमाल करता gradient descent
minibatch
एक step के लिए इस्तेमाल data का एक छोटा बेतरतीब टुकड़ा
आपकी बारी

linear regression (loss: mean squared error) के लिए sgd(X, y, lr, batch, epochs, seed) लिखें, हर epoch फेंटते हुए, (w, losses) लौटाते हुए जहाँ losses हर epoch के बाद पूरे-data का loss है। batch 32, lr 0.05 और 10 epochs के साथ इसे 0.02 से नीचे ख़त्म होना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।