Dropout, बनाया
यह क्यों मायने रखता है Dropout एक network को किसी अकेली unit पर बहुत ज़्यादा टिकने से रोकने का एक सादा तरीका है, और आप इसे कई models के अंदर देखेंगे।
training के दौरान, dropout हर step पर हर unit को प्रायिकता p (मान लें 0.5) से बेतरतीब ढंग से बंद करता है। network किसी एक unit पर निर्भर नहीं रह सकता, क्योंकि वह अगले step चली गई हो सकती है, इसलिए यह जो जानता है उसे कई पर फैलाता है।
औसत सही रखना
अगर आधी units बंद हैं, तो अगली layer लगभग आधा signal पाती है। आधुनिक inverted dropout इसे training के दौरान ठीक करता है: बची units को 1 / (1 - p) से गुणा किया जाता है, यहाँ 2। मूल्यांकन के समय dropout बिल्कुल कुछ नहीं करता, और औसत signal training से मेल खाता है। (मूल 2014 paper ने इसके बजाय मूल्यांकन के समय scale किया; नतीजा वही है, पर inverted dropout मूल्यांकन code को अछूता रखता है।)
Dropout दर p: training के दौरान एक unit बंद करने की प्रायिकता।
इस पाठ के शब्द और चिह्न
- dropout (p)
- training के दौरान प्रायिकता p से बेतरतीब ढंग से units बंद करना
dropout(h, p, training, rng) लिखें: training में, हर entry को प्रायिकता p से शून्य करें और बचे हुओं को 1 / (1 - p) से scale करें; नहीं तो h बिना बदले लौटाएँ। keep mask के रूप में rng.random(h.shape) >= p इस्तेमाल करें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।