20 layers से signals
यह क्यों मायने रखता है एक गहरा network कुछ भी सीखे उससे पहले, signal को हर layer से यात्रा झेलनी होती है। अक्सर यह नहीं झेलता, और कोई optimiser इसे ठीक नहीं कर सकता।
बेतरतीब inputs का एक batch h = relu(h @ W) की 20 layers से धकेलें, हर weight किसी फैलाव के एक normal वितरण से निकाला। हर layer के बाद, activations का फैलाव (standard deviation) मापें।
छोटी संख्याएँ
हर layer signal के आम आकार को मोटे तौर पर एक ही कारक से गुणा करती है। अगर वह कारक 0.5 है, तो 20 layers के बाद signal 0.5 की घात 20 है: लगभग दस लाखवाँ हिस्सा। अगर यह 2 है, तो यह लगभग दस लाख गुना बड़ा है। बस 1 के पास का कारक बचता है।
सार गहराई हर-layer के छोटे बदलावों को भारी वालों में बदलती है।
इस पाठ के शब्द और चिह्न
- Xavier, LeCun, He
- tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
spreads(scale, depth=20, width=100, seed=0) लिखें: h = rng.standard_normal((256, width)) से शुरू करें, फिर हर layer के लिए W = rng.normal(0, scale, (width, width)) निकालें और h = relu(h @ W) सेट करें। हर layer के बाद h.std() की सूची लौटाएँ।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।