पाठ्यक्रम 246 में से पाठ 40 · Module 3: Neuron से MLP तक
Module 3: Neuron से MLP तक

ढलान नीचे चलना (हाथ से gradient descent)

यह क्यों मायने रखता है हाथ से weights चुनना दस लाख weights तक नहीं बढ़ता। gradient हर weight को एक साथ बताता है कि ढलान नीचे किस ओर है।

इसका नाम

loss L = mean((X @ w + b - y) squared) के लिए, w1 धकेलें और L 2 * mean(error * x1) से बदलता है, जहाँ error अनुमान घटा सच है। वह w1 के सापेक्ष L का derivative है। सब एक साथ: grad_w = 2 * X.T @ error / n, और grad_b = 2 * mean(error)।

इसे सादे शब्दों में पढ़ें

अगर बड़े आकार वाले घरों पर अनुमान बहुत ऊँचे हैं (error धनात्मक), तो w1 घटाना मदद करता है, और w1 का gradient धनात्मक है, इसलिए हम उसे घटाते हैं। हर step: w = w - lr * grad_w, जहाँ lr, learning rate, step आकार तय करती है।

Gradient descent: "gradient निकालें, उसके विरुद्ध एक छोटा step लें" दोहराएँ। Learning rate: हर step का आकार।

Call the Curve

अपनी training चलाने से पहले, my_guess में steps 0, 10, 50 और 200 पर loss का अनुमान लगाएँ। code आपका अनुमान सच के बगल में print करता है।

सार Gradient, उसके विरुद्ध step, दोहराएँ।

इस पाठ के शब्द और चिह्न
weights (w, W), bias (b)
वे संख्याएँ जो एक neuron सीखता है; bias उसका output खिसकाता है
learning rate (lr)
हर training step कितना बड़ा है
आपकी बारी

(grad_w, grad_b) लौटाने वाला gradients(X, y, w, b), और शून्यों से शुरू होकर (w, b, losses) लौटाने वाला train(X, y, lr, steps) लिखें, जहाँ losses हर step से पहले का loss रखता है। पहले my_guess भरें। lr 0.5 और starter के माँगे 201 steps के साथ train किया loss 0.01 से नीचे ख़त्म होना चाहिए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।