पाठ्यक्रम 246 में से पाठ 79 · Module 6: शुरुआती weights और normalisation
Module 6: शुरुआती weights और normalisation

BatchNorm संख्याओं के साथ क्या करता है

यह क्यों मायने रखता है BatchNorm ने 2015 में बहुत गहरे networks को train होने लायक बनाया। इसे बनाने से पहले देखें कि यह संख्याओं के साथ क्या करता है।

इसे देखें

animation चलाएँ। एक layer के outputs हर feature के अपने औसत और फैलाव के साथ आते हैं, कुछ भारी, कुछ छोटे, कुछ खिसके। BatchNorm हर feature लेता है, मौजूदा batch पर, उसका औसत घटाता है और उसके फैलाव से भाग देता है। हर feature का अब औसत 0 और फैलाव 1 है। फिर यह एक सीखे gamma से गुणा करता है और एक सीखा beta जोड़ता है, ताकि network अगर मदद करे तो एक अलग पैमाना चुन सके।

एक ईमानदार नोट: BatchNorm क्यों मदद करता है अब भी बहस में है। मूल paper की व्याख्या ("internal covariate shift") अब स्वीकृत नहीं; चिकने loss परिदृश्य और बड़ी learning rates की अनुमति बेहतर समर्थित कारण हैं। यह संख्याओं के साथ क्या करता है उस पर कोई शक नहीं।

BatchNorm: हर feature को मौजूदा batch के आँकड़ों से normalise करें, फिर सीखे gamma और beta से फिर scale करें।

इस पाठ के शब्द और चिह्न
Xavier, LeCun, He
tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
BatchNorm (gamma, beta)
हर feature को batch पर normalise करें, फिर सीखे gamma और beta से फिर scale करें
आपकी बारी

निकालने से पहले अनुमान लगाएँ: एक batch में एक feature के मान [2, 4, 6, 8] हैं, gamma 3 है और beta 1। my_output को BatchNorm की बनाई चार संख्याओं पर सेट करें (eps = 0 इस्तेमाल करें)। फिर एक 2D batch के लिए batchnorm_forward(X, gamma, beta, eps=1e-5) लिखें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।