BatchNorm forward और चलते औसत
यह क्यों मायने रखता है training के समय BatchNorm batch के अपने आँकड़े इस्तेमाल करता है। जब model एक बार में एक उदाहरण पर इस्तेमाल होता है तो कोई batch नहीं, इसलिए उसे training से आम आँकड़े याद रखने पड़ते हैं।
training के दौरान, हर feature के औसत और variance के चलते औसत रखें: running = (1 - momentum) * running + momentum * batch_value, momentum 0.1 के साथ। मूल्यांकन mode में, batch वालों के बजाय उन चलते मानों से normalise करें।
Training mode: batch आँकड़े इस्तेमाल करें और चलते औसत अद्यतन करें। Eval mode: रखे चलते औसत इस्तेमाल करें और कुछ न बदलें।
इस पाठ के शब्द और चिह्न
- Xavier, LeCun, He
- tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
- BatchNorm (gamma, beta)
- हर feature को batch पर normalise करें, फिर सीखे gamma और beta से फिर scale करें
gamma (ones), beta (zeros), running_mean (zeros), running_var (ones), एक training flag (True से शुरू) और बताए तरीके से बर्ताव करने वाले __call__(X) के साथ class BatchNorm(n, momentum=0.1, eps=1e-5) लिखें। running_var के लिए, batch variance जैसा np.var निकालता है (n से भाग देते हुए) कोर्स का चुनाव है; PyTorch unbiased वाला रखता है (n - 1 से भाग देते हुए), और दोनों स्वीकार हैं।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।