पाठ्यक्रम 250 में से पाठ 104 · Neural-net की समझ, LLMs और AI कैपस्टोन
Neural-net की समझ, LLMs और AI कैपस्टोन

backprop और gradient जाँच

आपने भारों को नीचे की ओर खिसकाकर एक खिलौना मॉडल train किया। पर gradients कहाँ से आते हैं, और आपको कैसे पता कि वे सही हैं? यह पाठ दोनों का जवाब देता है, और दूसरा जवाब, gradient जाँच, वह अकेली आदत है जो चलते neural nets को चुपचाप टूटे हुओं से अलग करती है।

backprop बस chain rule है। एक उदाहरण को एक छोटे मॉडल से गुज़ारें: z = w * x का अनुमान लगाएँ, फिर वर्ग त्रुटि L = (z - y)**2 मापें। w सुधारने के लिए आपको dL/dw चाहिए। इसे दो छलांगों में निकालें और गुणा करें:

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

वह गुणनफल ही छोटे रूप में backpropagation है: हर परत पीछे बहते gradient को अपने स्थानीय derivative से गुणा करती है। ऐसे दस लाख रखें और आपके पास एक गहरा network है।

अब, क्या आपका सूत्र सही है? इसे संख्याओं से जाँचें। derivative की परिभाषा एक छोटा धक्का है, इसलिए इसका अनुमान एक central finite difference से लगाएँ और जाँचें कि analytic gradient सहमत है:

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

अगर वे असहमत हैं, तो आपके backward pass में बग है, हर गंभीर DL codebase ठीक इसी कारण gradient जाँच करता है।

दो फ़ंक्शन बनाएँ। loss(w, x, y) (w*x - y)**2 लौटाता है। grad(w, x, y) analytic gradient dL/dw = 2*(w*x - y)*x लौटाता है। छिपे टेस्ट आपके grad की कई रैंडम बिंदुओं पर आपके अपने loss के finite difference से gradient जाँच करेंगे, इसलिए ग़लत सूत्र पास नहीं हो सकता। analytic बनाम numeric को मेल खाते देखने के लिए Run दबाएँ।

आपकी बारी

loss(w, x, y) लिखें जो वर्ग त्रुटि (w*x - y)**2 लौटाए, और grad(w, x, y) जो w के सापेक्ष उसका analytic gradient लौटाए, जो chain rule से 2*(w*x - y)*x है। आपके grad की कई रैंडम बिंदुओं पर आपके अपने loss के central finite difference से gradient जाँच होगी, इसलिए इसे सच्चा derivative होना होगा, कोई अनुमान या स्थिरांक नहीं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।