पाठ्यक्रम 246 में से पाठ 77 · Module 6: शुरुआती weights और normalisation
Module 6: शुरुआती weights और normalisation

वह पैमाना जो signals स्थिर रखता है (Xavier और He)

यह क्यों मायने रखता है "शुरुआती weights कितने बड़े होने चाहिए" का एक ठीक जवाब है। इसे इस्तेमाल करें और गहरे networks train होने लायक बनते हैं।

छोटी संख्याएँ

एक layer का एक output एक input और एक weight के n_in गुणनफल जोड़ता है। अगर inputs का फैलाव 1 है और weights का फैलाव s, तो ऐसे n_in पदों के जोड़ का फैलाव s गुणा sqrt(n_in) है (variances जुड़ते हैं: Module 2, "फैलाव कैसे जुड़ता है")। उसे 1 पर रखने के लिए, s = 1 / sqrt(n_in) चुनें। यह LeCun initialisation है। Xavier (Glorot भी कहलाता) initialisation वापसी के रास्ते gradients को भी स्थिर रखता है, जो n_out पर निर्भर हैं, इसलिए यह अंतर बाँटता है: s = sqrt(2 / (n_in + n_out))। जब n_in n_out के बराबर हो दोनों एक ही हैं। दोनों tanh के लिए ठीक हैं।

ReLU ऋणात्मक आधा फेंक देता है, जो औसत वर्ग आकार आधा करता है। दोगुने variance से भरपाई करें: s = sqrt(2 / n_in)। यह He initialisation है, ReLU के लिए सही। चौड़ाई 100 के साथ, He sqrt(0.02) = 0.141 देता है: ठीक पिछले पाठ का "ok" पैमाना।

सार tanh: Xavier, sqrt(2 / (n_in + n_out)), या LeCun, 1 / sqrt(n_in)। ReLU: He, sqrt(2 / n_in)।

इस पाठ के शब्द और चिह्न
initialisation
training शुरू होने से पहले weights कैसे सेट होते हैं
Xavier, LeCun, He
tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
आपकी बारी

weight matrices लौटाने वाले xavier(n_in, n_out, rng) और he(n_in, n_out, rng) लिखें। He weights के साथ, चौड़ाई 256 की 20 ReLU layers के बाद activation फैलाव को 0.2 और 5 के बीच रहना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।