पाठ्यक्रम 250 में से पाठ 105 · Neural-net की समझ, LLMs और AI कैपस्टोन
Neural-net की समझ, LLMs और AI कैपस्टोन

एक autograd engine बनाएँ

आपने एक gradient हाथ से निकाला और उसकी gradient जाँच की। असली networks में लाखों parameters होते हैं, इसलिए आप हर एक को हाथ से नहीं निकाल सकते। deep learning को संभव बनाने वाली तरकीब automatic differentiation है: हर मान याद रखता है कि वह कैसे निकाला गया, और gradients उस record से अपने आप पीछे बहते हैं। आप कुछ पंक्तियों में वह engine बनाने वाले हैं, PyTorch और Karpathy के micrograd के अंदर वाला ही विचार।

इकाई एक Value है: एक संख्या जो अपना gradient और एक छोटा फ़ंक्शन भी रखती है जो जानता है कि gradient को उसके इनपुट तक कैसे धकेलना है। जब आप दो Value जोड़ते या गुणा करते हैं, तो नतीजा अपने माता-पिता दर्ज करता है। नीचे का ढाँचा आपको __init__ और एक backward() देता है जो graph पर सही क्रम में चलता है (एक topological sort, फिर आउटपुट से पीछे chain-rule)। आप दो स्थानीय gradients लागू करते हैं, जो पूरा पाठ है:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

जोड़ बस आने वाले gradient को दोनों इनपुट में कॉपी करता है। गुणा वह जगह है जहाँ chain rule काटता है: d(a*b)/da = b और d(a*b)/db = a, हर एक गुणा ऊपर से बहकर आया gradient (out.grad)। = नहीं, += पर ध्यान दें: कई जगह इस्तेमाल हुआ मान हर एक से gradient जमा करता है।

__add__ और __mul__ पूरे करें ताकि उनके _backward closures सही स्थानीय gradients सेट करें। छिपे टेस्ट अभिव्यक्तियाँ बनाते हैं, .backward() बुलाते हैं, और हर नतीजे की finite difference से gradient जाँच करते हैं, इसलिए ग़लत नियम पास नहीं हो सकता। a*b + a से backprop करने के लिए Run दबाएँ।

आपकी बारी

Value क्लास के __add__ और __mul__ पूरे करें ताकि backprop सही हो। __add__ के _backward में out.grad को self.grad और other.grad दोनों में जोड़ें (स्थानीय derivative 1)। __mul__ के _backward में other.data * out.grad को self.grad में और self.data * out.grad को other.grad में जोड़ें (गुणनफल नियम)। += इस्तेमाल करें ताकि दोबारा इस्तेमाल हुए मान gradient जमा करें। दिया backward() क्रम सँभालता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।