पाठ्यक्रम 246 में से पाठ 28 · Module 2: गणित और probability, बस ज़रूरत भर
Module 2: गणित और probability, बस ज़रूरत भर

backward सस्ता क्यों है (reverse mode)

यह क्यों मायने रखता है एक network में लाखों weights होते हैं। अगर हर gradient को अपना pass चाहिए होता, training असंभव होती। पीछे जाना उन सबको लगभग एक और pass की क़ीमत पर पाता है।

छोटी संख्याएँ

L = f3(f2(f1(x))) लें जहाँ x में 3 संख्याएँ हैं और L एक संख्या है। धक्कों के साथ आगे जाते हुए, आप एक input धकेलते हैं, उसे तीनों steps से गुज़ारते हैं, और एक gradient सीखते हैं। तीन inputs का मतलब तीन पूरी यात्राएँ।

पीछे जाते हुए, आप L से शुरू करते हैं, जो एक संख्या है, और "L को इसकी कितनी परवाह है?" को f3, फिर f2, फिर f1 से पीछे धकेलते हैं। एक यात्रा हर input का gradient एक साथ देती है।

3 inputs के साथ आप 3 के बजाय 1 यात्रा करते हैं। दस लाख weights के साथ, दस लाख के बजाय 1 यात्रा। एक backward यात्रा मुफ़्त नहीं, हालाँकि: इसकी लागत लगभग 2 से 3 forward passes है, क्योंकि हर step को अपनी स्थानीय ढलानों से गुणा करना होता है। इसलिए असली काम में बचत लगभग n / 3 है, जो दस लाख weights के लिए अब भी लगभग 300,000 गुना है। इसीलिए हर deep learning library पीछे की ओर काम करती है।

Reverse mode: output से वापस inputs तक बुहारकर gradients निकालना। इसका बिल्डिंग ब्लॉक vector-Jacobian product कहलाता है; अगला पाठ इसे खोलता है।

सार एक output, कई inputs: पीछे जाएँ।

इस पाठ के शब्द और चिह्न
vector
संख्याओं की एक सूची, हर feature की एक
आपकी बारी

n weights और एक loss वाले network के लिए operation गिनतियाँ भरें। forward_trips(n): हर-input-धकेलो तरीके को कितने पूरे passes चाहिए (हर weight का एक धकेला pass; वह अकेला बिना धकेला pass छोड़ दें जो आप भी चलाते)। backward_trips(n): reverse mode को कितनी backward बुहारें चाहिए। फिर saving_for_a_million को n = 1,000,000 के लिए यात्राओं के अनुपात (काम का नहीं) पर सेट करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।