पाठ्यक्रम 246 में से पाठ 54 · Module 4: आपका अपना autograd engine
Module 4: आपका अपना autograd engine

graph दर्ज करना और उसे क्रम देना

यह क्यों मायने रखता है Backward को हर box पर बस उस पर निर्भर हर box के बाद जाना होता है। यह क्रम ग़लत होने से चुपचाप ग़लत gradients मिलते हैं।

इसे देखें

सोचें x दो बार इस्तेमाल हुआ: a = x * 2, b = x * 3, L = a + b। यह एक हीरा है। L से पीछे जाते हुए, x सँभालने से पहले हमें a और b दोनों ख़त्म करने होंगे, क्योंकि x का gradient दोनों से वापस आने वाले का जोड़ है।

इलाज है nodes को topological क्रम में सूचीबद्ध करना: हर node अपने सारे parents के बाद। Backward फिर उस सूची पर उल्टा चलता है। एक depth-first search सूची बनाता है: पहले एक node के parents पर जाएँ, फिर node जोड़ें, और पहले देखे nodes छोड़ें।

Topological क्रम: एक graph का ऐसा क्रम जहाँ हर node उन nodes के बाद आता है जिन पर वह निर्भर है।

इस पाठ के शब्द और चिह्न
Tensor
यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
topological order
हर node उन nodes के बाद सूचीबद्ध जिन पर वह निर्भर है
.grad
इस Tensor के सापेक्ष अंतिम loss का gradient
unbroadcast
एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
आपकी बारी

topo method लिखें: हर वह node लौटाएँ जिस पर self निर्भर है (ख़ुद समेत), हर एक अपने सारे parents के बाद, बिना दोहराव के।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।