पाठ्यक्रम 246 में से पाठ 32 · Module 2: गणित और probability, बस ज़रूरत भर
Module 2: गणित और probability, बस ज़रूरत भर

फैलाव कैसे जुड़ता है, और एक matrix क्या खींचता है

यह क्यों मायने रखता है दो तथ्य तय करते हैं कि एक गहरा network train होता भी है या नहीं: पदों की संख्या के साथ एक जोड़ का फैलाव कैसे बढ़ता है (Module 6 इससे शुरुआती weights सेट करता है), और हर बार लगाने पर एक matrix एक vector को कितना खींचता है (Module 11 के RNNs एक को बार-बार लगाते हैं)।

एक जोड़ का फैलाव

n स्वतंत्र संख्याएँ जोड़ें, हर एक variance v के साथ। variances जुड़ते हैं: जोड़ का variance n v है, इसलिए उसका फैलाव (standard deviation) sqrt(n v) है। छोटी संख्याएँ: हर एक फैलाव 1 वाले 100 inputs फैलाव 10 वाला एक जोड़ देते हैं, न 100 न 1। एक neuron n inputs गुणा weights जोड़ता है, इसलिए उसके output का फैलाव 1 के पास रखने के लिए, हर weight को लगभग 1 / sqrt(n) का फैलाव चाहिए। वह Module 6 के शुरुआती weights के पीछे का विचार है।

एक matrix क्या खींचता है

कुछ vectors बस लंबे या छोटे होते हैं जब एक matrix A उन्हें गुणा करता है; उनकी दिशा रहती है। ऐसा vector एक eigenvector है और खिंचाव कारक उसका eigenvalue है। एक vector को A से बार-बार गुणा करें और सबसे बड़े eigenvalue (आकार में) वाली दिशा जीतती है: t steps के बाद लंबाई उस eigenvalue की घात t की तरह बढ़ती या सिकुड़ती है। इसलिए 1 से ऊपर का सबसे बड़ा आकार फटता है, और 1 से नीचे फीका होता है।

छोटी संख्याएँ: A = [[0.5, 0], [0, 1.2]]। इसके eigenvalues 0.5 और 1.2 हैं। 10 steps के बाद पहली दिशा 0.510, लगभग 0.001, तक सिकुड़ चुकी है, और दूसरी 1.210, लगभग 6.2, तक बढ़ चुकी है।

Eigenvalue: एक matrix एक ख़ास दिशा को कितना खींचता है। Spectral radius: आकार में सबसे बड़ा eigenvalue, जो तय करता है कि बार-बार गुणा बढ़ता है या फीका होता है।

सार Variances जुड़ते हैं, इसलिए फैलाव sqrt(n) की तरह बढ़ते हैं। बार-बार गुणा सबसे बड़े eigenvalue की घात t की तरह बढ़ता है।

इस पाठ के शब्द और चिह्न
vector
संख्याओं की एक सूची, हर feature की एक
आपकी बारी

तीन steps:

  1. sum_spread(n, sd, trials, seed) लिखें: rng = np.random.default_rng(seed) के साथ, फैलाव sd वाली n normal संख्याओं के trials जोड़ निकालें, और उन जोड़ों का फैलाव (np.std) लौटाएँ।
  2. predicted को उस फैलाव पर सेट करें जो नियम n = 100, sd = 0.5 के लिए देता है (sqrt(n) x sd)।
  3. growth_rate(A, steps=200) लिखें: ones के एक vector से शुरू करें; steps बार, A से गुणा करें और नतीजे को लंबाई 1 पर फिर scale करें; vector की आख़िरी फिर-scale से ठीक पहले की लंबाई लौटाएँ। हल किया उदाहरण: A = [[0.5, 0], [0, 1.2]] के लिए जवाब 1.2 है।

step 3 क्यों काम करता है: बार-बार गुणा सबसे बड़े खिंचाव को जीतने देता है, इसलिए आख़िरी एक-step लंबाई आकार में सबसे बड़ा eigenvalue है, किसी eigenvalue function के बिना पाया। (जाँच symmetric matrices इस्तेमाल करती है, जहाँ यह हमेशा सही है। कुछ दूसरे matrices के लिए दो सबसे बड़े एक complex जोड़ा हैं और लंबाई step दर step डगमगाती है; आपको वह मामला नहीं चाहिए होगा।)

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।