पाठ्यक्रम 250 में से पाठ 101 · Neural-net की समझ, LLMs और AI कैपस्टोन
Neural-net की समझ, LLMs और AI कैपस्टोन

मॉडल कैसे सीखते हैं

एक नए network के भार रैंडम होते हैं और वह बेकार है। Training उन भारों को तब तक खिसकाने की प्रक्रिया है जब तक आउटपुट अच्छा न हो जाए। दो विचार इसे चलाते हैं।

1. एक loss फ़ंक्शन ग़लती मापता है

आपको एक अकेली संख्या चाहिए जो बताए कि अनुमान कितने बुरे हैं। regression के लिए पसंदीदा mean squared error (MSE) है: सच और अनुमान के बीच के अंतरों के वर्गों का औसत।

def mse(y_true, y_pred):
    diffs = np.asarray(y_true) - np.asarray(y_pred)
    return float(np.mean(diffs ** 2))

वर्ग करना बड़ी चूकों को ज़्यादा सज़ा देता है और सब कुछ धनात्मक रखता है। कम loss बेहतर है; शून्य loss मतलब पूर्ण fit।

2. Gradient descent ढलान पर लुढ़कता है

loss को एक पहाड़ी सतह और भारों को उस पर अपनी स्थिति समझें। gradient ढलान है: यह ऊपर की ओर, ज़्यादा loss की ओर इशारा करता है। इसलिए loss घटाने के लिए आप उलटी दिशा में एक छोटा क़दम लेते हैं।

w = w - learning_rate * gradient

learning rate क़दम का आकार है। इसे हज़ारों बार दोहराएँ और भार कम-loss वाली घाटी की ओर लुढ़कते हैं। training बस यही loop है।

MSE के साथ एक खिलौना मॉडल y = w * x के लिए w के सापेक्ष loss का gradient mean(2 * (w*x - y) * x) निकलता है। आप ठीक एक क़दम लेंगे और loss गिरते देखेंगे।

एक भार से पूरे network तक

पिछले पाठ में आपने जो दो-परत network बनाया उसके कई भार हैं, एक नहीं। उसे train करने का मतलब है परत दर परत हर भार के सापेक्ष loss का gradient ढूँढना। यह backpropagation है: loss से शुरू करें और हर भार का ढलान पाने के लिए हर परत से पीछे की ओर chain rule लगाएँ, फिर उन सब पर एक साथ वही ढलान वाला क़दम लें। गणित भारी है, पर विचार ठीक वही है जो नीचे का अकेला क़दम है। असली कोड में आप इसे कभी हाथ से नहीं निकालते: PyTorch जैसे frameworks forward pass दर्ज करते हैं और एक loss.backward() कॉल आपके लिए हर gradient निकालती है। हम यहाँ एक-भार वाला रूप करते हैं ताकि तरीका ठोस रहे।

आपकी बारी

mse(y_true, y_pred) (वर्ग अंतरों का औसत) लागू करें। फिर खिलौना मॉडल y = w * x के लिए loss_before निकालें, grad = np.mean(2 * (w*x - y) * x) और w = w - lr * grad से एक gradient-descent क़दम लें, फिर loss_after निकालें। loss घटना चाहिए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।