पाठ्यक्रम 246 में से पाठ 81 · Module 6: शुरुआती weights और normalisation
Module 6: शुरुआती weights और normalisation

3 संख्याओं के एक batch पर BatchNorm backward (वैकल्पिक)

यह क्यों मायने रखता है यह Part 1 का सबसे कठिन backward नियम है, और वैकल्पिक। इसका सबक़: जब हर output हर input पर निर्भर हो (औसत और फैलाव के ज़रिए), gradient अतिरिक्त पद उठाता है।

इसे पहले 3 के batch वाले एक feature पर हल करें। x_hat = (x - mean) / spread और y = gamma x_hat + beta के साथ, x के सापेक्ष gradient बस gamma / spread गुणा आता gradient नहीं। एक x को धकेलना औसत और फैलाव हिलाता है, जो हर दूसरे output को भी हिलाता है। नतीजा, हर feature पर, g आता gradient और N batch आकार के साथ:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

इसे ऐसे पढ़ें: सादा gradient, घटा वह हिस्सा जिसने बस सब कुछ साथ खिसकाया (औसत पद), घटा वह हिस्सा जिसने बस सब कुछ साथ खींचा (फैलाव पद)। वे दो हिस्से normalisation ख़ुद काट देता है।

अगर आप अटकें तो संकेतों से एक हल किया जवाब खुलता है। यह पाठ छोड़ना कुछ नहीं रोकता।

इस पाठ के शब्द और चिह्न
Xavier, LeCun, He
tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
BatchNorm (gamma, beta)
हर feature को batch पर normalise करें, फिर सीखे gamma और beta से फिर scale करें
आपकी बारी

एक 2D batch के लिए (dX, dgamma, dbeta) लौटाने वाला batchnorm_backward(X, gamma, g, eps=1e-5) लिखें, जहाँ g output पर आता gradient है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।