Vanishing और exploding gradients, मापे
यह क्यों मायने रखता है आपने अभी एक शुरुआती step का gradient हर step पर एक बार w से गुणा होते देखा। कई steps के साथ, वह गुणनफल या तो कुछ नहीं तक सिकुड़ता है या फट जाता है। यह सादे RNNs की मुख्य कमज़ोरी है।
एक संख्या के बजाय एक weight matrix W के साथ, एक step पीछे जाना gradient को W transposed से गुणा करता है (tanh को नज़रअंदाज़ करते हुए, जो इसे बस और सिकोड़ सकता है)। एक step एक vector को ज़्यादा से ज़्यादा W के सबसे बड़े खिंचाव, उसके spectral norm, से बढ़ा सकता है। कई steps पर जो मायने रखता है वह spectral radius है, W के सबसे बड़े eigenvalue का आकार (Module 2, "फैलाव कैसे जुड़ता है, और एक matrix क्या खींचता है"): k steps के बाद आकार मोटे तौर पर r की घात k से बदला है। (नीचे इस्तेमाल घुमावों के लिए, दोनों एक ही संख्या हैं, r।) 50 steps पर r = 0.9: 0.005। 50 steps पर r = 1.1: 117।
दो अलग इलाज
Exploding gradients का एक मोटा इलाज है: उन्हें clip करें (Module 5)। Vanishing gradients का ऐसा कोई इलाज नहीं। एक weight का कुल gradient समय में पीछे की हर दूरी पर एक जोड़ है; जब लंबी दूरी के पद 0.9 की घात 50 की तरह सिकुड़ते हैं, वे छोटी दूरी वालों में डूब जाते हैं, और पूरे जोड़ को बढ़ाना शोर को उनके साथ बढ़ाता है। network बस यह नहीं बता सकता कि बहुत पीछे का कुछ मायने रखता था। वहाँ इलाज एक अलग architecture है: LSTM, अगला।
इस पाठ के शब्द और चिह्न
- recurrent network (RNN)
- एक network जो एक बार में एक step पढ़ता है और एक hidden state आगे ले जाता है
- vanishing / exploding gradient
- एक ही matrix से कई बार गुणा होता gradient कुछ नहीं तक सिकुड़ता है या फट जाता है
- LSTM
- एक memory cell c और तीन gates वाला एक RNN: forget, input, output
gradient_sizes(W, steps) लिखें: ones के एक gradient से शुरू करें, हर step पर एक बार W.T से गुणा करें, और norms की सूची लौटाएँ (हर step का एक)। फिर तीनों matrices के लिए verdicts को "vanish", "steady" या "explode" पर सेट करें, 50 steps के बाद norm से परखते हुए (0.01 से नीचे, 0.01 और 100 के बीच, 100 से ऊपर)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।