graph दर्ज करना और उसे क्रम देना
यह क्यों मायने रखता है Backward को हर box पर बस उस पर निर्भर हर box के बाद जाना होता है। यह क्रम ग़लत होने से चुपचाप ग़लत gradients मिलते हैं।
इसे देखें
सोचें x दो बार इस्तेमाल हुआ: a = x * 2, b = x * 3, L = a + b। यह एक हीरा है। L से पीछे जाते हुए, x सँभालने से पहले हमें a और b दोनों ख़त्म करने होंगे, क्योंकि x का gradient दोनों से वापस आने वाले का जोड़ है।
इलाज है nodes को topological क्रम में सूचीबद्ध करना: हर node अपने सारे parents के बाद। Backward फिर उस सूची पर उल्टा चलता है। एक depth-first search सूची बनाता है: पहले एक node के parents पर जाएँ, फिर node जोड़ें, और पहले देखे nodes छोड़ें।
Topological क्रम: एक graph का ऐसा क्रम जहाँ हर node उन nodes के बाद आता है जिन पर वह निर्भर है।
इस पाठ के शब्द और चिह्न
- Tensor
- यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
- topological order
- हर node उन nodes के बाद सूचीबद्ध जिन पर वह निर्भर है
- .grad
- इस Tensor के सापेक्ष अंतिम loss का gradient
- unbroadcast
- एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
topo method लिखें: हर वह node लौटाएँ जिस पर self निर्भर है (ख़ुद समेत), हर एक अपने सारे parents के बाद, बिना दोहराव के।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।