Shortcuts (residual connections)
यह क्यों मायने रखता है Residual connections इसका कारण हैं कि सैकड़ों layers वाले networks train होते ही हैं। हर transformer block उन्हें इस्तेमाल करता है।
एक सादी layer अपना input बदलती है: h = f(h)। एक residual block उसमें जोड़ता है: h = h + f(h)। अगर f कुछ काम का न सीखे, block बस h को बिना बदले गुज़ारता है, इसलिए शुरुआत में अतिरिक्त गहराई कभी चीज़ें बदतर नहीं कर सकती। और वापसी के रास्ते, gradient के पास "+ h" रास्ते पर एक सीधा मार्ग है, layer को पूरी तरह छोड़ते हुए, इसलिए यह ग़ायब नहीं हो सकता।
नीचे के प्रयोग के बारे में एक उचित चेतावनी: दोनों networks उन्हीं जानबूझकर छोटे weights, N(0, 0.1), से शुरू होते हैं। वही शुरुआत सादे network को डुबाती है। इस module में पहले के He शुरुआती weights के साथ, सादा 30-layer network भी train होता है (कोर्स के runs में 6 में से 5 seeds)। Shortcuts जो जोड़ते हैं वह मज़बूती है: वे एक ख़राब शुरुआत से भी train होते हैं, और उन गहराइयों पर काम करते रहते हैं जहाँ सावधान शुरुआती weights अकेले काफ़ी होना बंद करते हैं।
यहाँ हर block का योगदान 1 / depth से भी scale होता है, एक आम तरकीब ताकि 30 जोड़ signal न फाड़ें।
Residual connection (या skip connection, shortcut): एक block के input को उसके output में जोड़ना।
वक्र का अनुमान: सादे network और shortcuts वाले के लिए 150 steps के बाद अंतिम loss का अनुमान लगाएँ। (0.693 का एक loss इस दो-class काम पर एक सिक्का उछाल है।)
इस पाठ के शब्द और चिह्न
- Xavier, LeCun, He
- tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
- residual connection
- एक block के input को उसके output में जोड़ना: h + f(h)
my_guess भरें। फिर block(h, W, b, shortcuts, depth) लिखें: बिना shortcuts के relu(h @ W + b) लौटाएँ; shortcuts के साथ h + relu(h @ W + b) * (1 / depth) लौटाएँ। test दोनों 30-layer networks उन्हीं छोटे शुरुआती weights से train करता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।