पाठ्यक्रम 246 में से पाठ 75 · Module 6: शुरुआती weights और normalisation
Module 6: शुरुआती weights और normalisation

20 layers से signals

यह क्यों मायने रखता है एक गहरा network कुछ भी सीखे उससे पहले, signal को हर layer से यात्रा झेलनी होती है। अक्सर यह नहीं झेलता, और कोई optimiser इसे ठीक नहीं कर सकता।

बेतरतीब inputs का एक batch h = relu(h @ W) की 20 layers से धकेलें, हर weight किसी फैलाव के एक normal वितरण से निकाला। हर layer के बाद, activations का फैलाव (standard deviation) मापें।

छोटी संख्याएँ

हर layer signal के आम आकार को मोटे तौर पर एक ही कारक से गुणा करती है। अगर वह कारक 0.5 है, तो 20 layers के बाद signal 0.5 की घात 20 है: लगभग दस लाखवाँ हिस्सा। अगर यह 2 है, तो यह लगभग दस लाख गुना बड़ा है। बस 1 के पास का कारक बचता है।

सार गहराई हर-layer के छोटे बदलावों को भारी वालों में बदलती है।

इस पाठ के शब्द और चिह्न
Xavier, LeCun, He
tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
आपकी बारी

spreads(scale, depth=20, width=100, seed=0) लिखें: h = rng.standard_normal((256, width)) से शुरू करें, फिर हर layer के लिए W = rng.normal(0, scale, (width, width)) निकालें और h = relu(h @ W) सेट करें। हर layer के बाद h.std() की सूची लौटाएँ।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।