एक खिंचा कटोरा धीमा क्यों है (conditioning)
यह क्यों मायने रखता है असली loss परिदृश्य कुछ दिशाओं में खड़े और दूसरों में लगभग सपाट होते हैं। वह बेमेल, weights की संख्या नहीं, सादे gradient descent को धीमा बनाता है।
इसे देखें
f = (k x squared + y squared) / 2 लें। k = 1 के साथ यह एक गोल कटोरा है। k = 100 के साथ यह एक लंबी पतली घाटी है: आर-पार खड़ी, लंबाई में हल्की। learning rate को दोनों दिशाओं के लिए एक साथ ठीक होना होता है। सबसे अच्छा अकेला चुनाव, lr = 2 / (k + 1), हर step को दोनों दिशाओं में दूरी का (k - 1) / (k + 1) रखवाता है: k = 100 पर उसका 0.98। कोई भी बड़ा और खड़ी दिशा आगे निकलती है और ज़्यादा धीरे टिकती है (2 / k से ऊपर यह बिना सीमा बढ़ती है); कोई भी छोटा और हल्की दिशा और भी धीरे रेंगती है। इसलिए चाल घाटी के आर-पार टेढ़ी-मेढ़ी चलती है जबकि उसकी लंबाई में रेंगती है।
Condition number: सबसे खड़ी और सबसे हल्की वक्रता का अनुपात, यहाँ k। सादे gradient descent को अच्छी प्रगति के लिए मोटे तौर पर k steps चाहिए।
Call the Curve: चलाने से पहले, सबसे अच्छी तय learning rate, 2 / (k + 1), इस्तेमाल करते हुए, k = 1, 10 और 100 के लिए तली के 0.001 के भीतर पहुँचने में कितने steps लगते हैं इसका अनुमान लगाएँ।
सार खिंचाव सादे descent को खिंचाव के अनुपात में धीमा करता है।
इस पाठ के शब्द और चिह्न
- condition number
- सबसे खड़ी दिशा सबसे हल्की से कितनी ज़्यादा खड़ी है
my_guess (तीन step गिनतियाँ) भरें, फिर steps_to_converge(k) लिखें: (1, 1) से शुरू करें, lr = 2 / (k + 1) इस्तेमाल करें, और तब तक steps गिनें जब तक (0, 0) तक की दूरी 0.001 से नीचे न हो (100,000 पर रुकें)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।