हर weight का एक volume knob (RMSProp)
यह क्यों मायने रखता है Momentum दिशा चिकनी करता है। RMSProp दूसरी समस्या ठीक करता है: कुछ weights को भारी gradients मिलते हैं और दूसरों को नन्हे, इसलिए एक learning rate सबके लिए ठीक नहीं हो सकती।
RMSProp हर weight के लिए उसके squared gradient का एक चलता औसत रखता है: उस weight का gradient आमतौर पर कितना तेज़ है। फिर यह हर step को उसके square root से भाग देता है, जैसे तेज़ weights पर volume घटाना और शांत वालों पर बढ़ाना।
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
खिंचे कटोरे पर, खड़ी दिशा के तेज़ gradients हैं और वह धीमी की जाती है, हल्की दिशा तेज़ की जाती है, और कटोरा लगभग ऐसे बर्ताव करता है जैसे गोल हो। यह यहाँ काम करता है क्योंकि कटोरे की खड़ी और हल्की दिशाएँ दो weights से मेल खाती हैं। घाटी को 45 डिग्री झुकाएँ, ताकि हर weight दोनों दिशाओं का मिश्रण देखे, और हर weight का एक volume knob उन्हें अलग नहीं कर सकता: RMSProp और Adam तब बहुत कम मदद करते हैं। वे इस हिसाब से फिर scale करते हैं कि हर weight का gradient कितना तेज़ है, घाटी के असली आकार से नहीं।
eps: 1e-8 जैसी एक नन्ही संख्या जो शून्य से भाग रोकती है।
इस पाठ के शब्द और चिह्न
- momentum (beta)
- पिछले step की velocity का हिस्सा रखना
- RMSProp
- हर weight के step को इससे भाग देना कि उसका gradient आमतौर पर कितना तेज़ है
- Adam (m, v, t)
- momentum (m) और हर weight का एक volume knob (v), शुरुआती steps के लिए सुधारा (t)
अंतिम स्थिति लौटाने वाला rmsprop(grad, start, lr, rho, steps, eps=1e-8) लिखें। छिपा test कुछ steps के बाद आपकी स्थिति की reference से तुलना करता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।