पाठ्यक्रम 246 में से पाठ 68 · Module 5: Optimisation
Module 5: Optimisation

एक भारी गेंद (momentum)

यह क्यों मायने रखता है Momentum खिंची घाटियों का सबसे काम का अकेला इलाज है, और आप जो लगभग हर optimiser इस्तेमाल करेंगे उसमें यह है।

पहले इसे देखें

animation चलाएँ। सादा gradient descent घाटी के आर-पार टेढ़ा-मेढ़ा चलता है। एक भारी गेंद अपनी पिछली velocity का कुछ हिस्सा रखती है: टेढ़े-मेढ़े हिस्से कट जाते हैं (बाएँ, दाएँ, बाएँ) जबकि घाटी की लंबाई में स्थिर ढलान-नीचे खिंचाव step दर step जुड़ता है। इसलिए यह घाटी की तली पर तेज़ी से चलती है।

इसका नाम

v = beta * v + grad        # velocity: mostly the old velocity, plus the new push
p = p - lr * v

beta = 0.9 के साथ गेंद मोटे तौर पर पिछले 10 धक्के याद रखती है।

सादा descent यहाँ धीमा क्यों है

इस कटोरे पर खड़ी दिशा हल्की वाली से 50 गुना खड़ी है। सादे descent की learning rate खड़ी दिशा से सीमित है: 2/50 = 0.04 से ऊपर घाटी के आर-पार steps बढ़ते हैं और यह फट जाता है। सीमा के ठीक नीचे, 0.039 पर, यह घाटी के आर-पार टेढ़ा-मेढ़ा चलता है (हर step आगे निकलता है और दूसरी ओर उतरता है) जबकि उसकी लंबाई में रेंगता है, क्योंकि हल्की दिशा के लिए 0.039 एक नन्ही rate है। Momentum एक बड़ी rate इस्तेमाल कर सकता है और घाटी की लंबाई में अपनी गति रख सकता है: यह खड़ी दिशा में भी आगे निकलता है, पर वे झूले कट जाते हैं जबकि तली के साथ के धक्के जुड़ते हैं।

(ठीक lr = 1/50 = 0.02 पर कोई टेढ़ापन नहीं: एक step घाटी की तली पर उतरता है, और बाकी धीमा रेंगना है। इसे आज़माएँ।)

(दृश्य एक हल्की घाटी बनाता है, आर-पार 25 गुना खड़ी, beta 0.5 के साथ, ताकि उसके रास्ते screen पर समाएँ; इस पाठ की संख्याएँ उस 50 गुना घाटी के लिए हैं जिसे आप code करते हैं।)

Momentum: हाल के gradients का एक चलता जोड़ जो टेढ़ापन चिकना करता है और लगातार दिशाओं में गति बनाता है।

इस पाठ के शब्द और चिह्न
momentum (beta)
पिछले step की velocity का हिस्सा रखना
आपकी बारी

steps_plain(lr) और steps_momentum(lr, beta) लिखें: खिंचे कटोरे पर (1, 1) से शुरू करते हुए, तली तक की दूरी 0.001 से नीचे होने तक steps गिनें (अधिकतम 20,000)। हर एक को उसकी अपनी अच्छी settings दें: सादा descent lr 0.039 पर, उसकी सीमा के ठीक नीचे, और momentum lr 0.06 पर beta 0.6 के साथ। Momentum को अधिक से अधिक एक तिहाई steps चाहिए होने चाहिए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।