वह पैमाना जो signals स्थिर रखता है (Xavier और He)
यह क्यों मायने रखता है "शुरुआती weights कितने बड़े होने चाहिए" का एक ठीक जवाब है। इसे इस्तेमाल करें और गहरे networks train होने लायक बनते हैं।
छोटी संख्याएँ
एक layer का एक output एक input और एक weight के n_in गुणनफल जोड़ता है। अगर inputs का फैलाव 1 है और weights का फैलाव s, तो ऐसे n_in पदों के जोड़ का फैलाव s गुणा sqrt(n_in) है (variances जुड़ते हैं: Module 2, "फैलाव कैसे जुड़ता है")। उसे 1 पर रखने के लिए, s = 1 / sqrt(n_in) चुनें। यह LeCun initialisation है। Xavier (Glorot भी कहलाता) initialisation वापसी के रास्ते gradients को भी स्थिर रखता है, जो n_out पर निर्भर हैं, इसलिए यह अंतर बाँटता है: s = sqrt(2 / (n_in + n_out))। जब n_in n_out के बराबर हो दोनों एक ही हैं। दोनों tanh के लिए ठीक हैं।
ReLU ऋणात्मक आधा फेंक देता है, जो औसत वर्ग आकार आधा करता है। दोगुने variance से भरपाई करें: s = sqrt(2 / n_in)। यह He initialisation है, ReLU के लिए सही। चौड़ाई 100 के साथ, He sqrt(0.02) = 0.141 देता है: ठीक पिछले पाठ का "ok" पैमाना।
सार tanh: Xavier, sqrt(2 / (n_in + n_out)), या LeCun, 1 / sqrt(n_in)। ReLU: He, sqrt(2 / n_in)।
इस पाठ के शब्द और चिह्न
- initialisation
- training शुरू होने से पहले weights कैसे सेट होते हैं
- Xavier, LeCun, He
- tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
weight matrices लौटाने वाले xavier(n_in, n_out, rng) और he(n_in, n_out, rng) लिखें। He weights के साथ, चौड़ाई 256 की 20 ReLU layers के बाद activation फैलाव को 0.2 और 5 के बीच रहना होगा।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।