Loss सतहें जिन पर आप चल सकते हैं
यह क्यों मायने रखता है हर optimiser एक ऐसे परिदृश्य पर ढलान नीचे चलने का एक अलग तरीका है जिसे आप देख नहीं सकते। पहले एक सरल पर चलें।
loss को एक परिदृश्य की तरह सोचें: दो weights एक नक्शे पर आपकी स्थिति हैं, और loss ऊँचाई है। Training ढलान नीचे चलना है। gradient ढलान ऊपर इशारा करता है, इसलिए हर step उल्टी ओर जाता है: position = position - lr * gradient।
छोटी संख्याएँ
कटोरे f(x, y) = x squared + y squared पर, (3, 4) पर gradient (6, 8) है। lr 0.1 के साथ step (3 - 0.6, 4 - 0.8) = (2.4, 3.2) पर जाता है। हर step तली तक की दूरी का 80% रखता है, इसलिए 20 steps के बाद आप जहाँ से शुरू हुए उसके लगभग 1% पर हैं।
Learning rate: gradient के सापेक्ष कितनी दूर step लेना है। बहुत छोटा रेंगता है; बहुत बड़ा आगे निकल जाता है।
सार gradient के विरुद्ध step लें; learning rate क़दम की लंबाई तय करती है।
descend(grad, start, lr, steps) लिखें जो देखी गई स्थितियों की सूची (start शामिल) NumPy arrays के रूप में लौटाए। फिर my_lr ऐसे चुनें कि, पाठ के कटोरे पर, (3, 4) से शुरू करते हुए, आप अधिक से अधिक 15 steps में तली के 0.01 के भीतर हों।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।