पाठ्यक्रम 246 में से पाठ 65 · Module 5: Optimisation
Module 5: Optimisation

एक खिंचा कटोरा धीमा क्यों है (conditioning)

यह क्यों मायने रखता है असली loss परिदृश्य कुछ दिशाओं में खड़े और दूसरों में लगभग सपाट होते हैं। वह बेमेल, weights की संख्या नहीं, सादे gradient descent को धीमा बनाता है।

इसे देखें

f = (k x squared + y squared) / 2 लें। k = 1 के साथ यह एक गोल कटोरा है। k = 100 के साथ यह एक लंबी पतली घाटी है: आर-पार खड़ी, लंबाई में हल्की। learning rate को दोनों दिशाओं के लिए एक साथ ठीक होना होता है। सबसे अच्छा अकेला चुनाव, lr = 2 / (k + 1), हर step को दोनों दिशाओं में दूरी का (k - 1) / (k + 1) रखवाता है: k = 100 पर उसका 0.98। कोई भी बड़ा और खड़ी दिशा आगे निकलती है और ज़्यादा धीरे टिकती है (2 / k से ऊपर यह बिना सीमा बढ़ती है); कोई भी छोटा और हल्की दिशा और भी धीरे रेंगती है। इसलिए चाल घाटी के आर-पार टेढ़ी-मेढ़ी चलती है जबकि उसकी लंबाई में रेंगती है।

Condition number: सबसे खड़ी और सबसे हल्की वक्रता का अनुपात, यहाँ k। सादे gradient descent को अच्छी प्रगति के लिए मोटे तौर पर k steps चाहिए।

Call the Curve: चलाने से पहले, सबसे अच्छी तय learning rate, 2 / (k + 1), इस्तेमाल करते हुए, k = 1, 10 और 100 के लिए तली के 0.001 के भीतर पहुँचने में कितने steps लगते हैं इसका अनुमान लगाएँ।

सार खिंचाव सादे descent को खिंचाव के अनुपात में धीमा करता है।

इस पाठ के शब्द और चिह्न
condition number
सबसे खड़ी दिशा सबसे हल्की से कितनी ज़्यादा खड़ी है
आपकी बारी

my_guess (तीन step गिनतियाँ) भरें, फिर steps_to_converge(k) लिखें: (1, 1) से शुरू करें, lr = 2 / (k + 1) इस्तेमाल करें, और तब तक steps गिनें जब तक (0, 0) तक की दूरी 0.001 से नीचे न हो (100,000 पर रुकें)।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।