पाठ्यक्रम 246 में से पाठ 49 · Module 3: Neuron से MLP तक
Module 3: Neuron से MLP तक

सादे NumPy में एक अंक पाठक

यह क्यों मायने रखता है यह असली लिखावट पढ़ता एक असली neural network है, हर line आपकी लिखी। यह क्लासिक पहला network है, बिना library के बनाया।

data 1,797 हाथ से लिखे अंक है, हर एक 64 संख्याओं में चपटी एक 8 गुणा 8 image (मशहूर 28 गुणा 28 MNIST set का एक छोटा, कम-resolution वाला चचेरा भाई, एक अलग संग्रह से)। network पिछले पाठ वाला है: 64 inputs, 64 ReLU neurons की एक छिपी layer, और 10 outputs।

training loop

  1. weights छोटे और बेतरतीब शुरू करें: rng.normal(0, 0.1, shape), biases शून्य पर।
  2. हर epoch, training data फेंटें और 32 के minibatches में उससे गुज़रें।
  3. हर minibatch के लिए, forward_backward चलाएँ और हर weight को उसके gradient के विरुद्ध step दें।

Minibatch: एक step के लिए इस्तेमाल data का एक छोटा बेतरतीब टुकड़ा। यह हर step सारा data इस्तेमाल करने से बहुत तेज़ है, और शोर मदद भी करता है।

Call the Curve: my_guess में epoch 1 के बाद और epoch 20 के बाद training loss का अनुमान लगाएँ।

सार फेंटें, काटें, forward, backward, step। दोहराएँ।

इस पाठ के शब्द और चिह्न
neuron
w . x + b, फिर एक activation
weights (w, W), bias (b)
वे संख्याएँ जो एक neuron सीखता है; bias उसका output खिसकाता है
ReLU
max(0, z): धनात्मक रखता है, ऋणात्मक शून्य करता है
learning rate (lr)
हर training step कितना बड़ा है
hidden layer
input और output के बीच एक layer जो नए features बनाती है
आपकी बारी

अपने forward_backward से, weights की एक dictionary लौटाने वाला train(X, y, hidden, lr, epochs, seed), और हर row का अनुमानित अंक लौटाने वाला predict(params, X) लिखें। my_guess भरें। छिपा test उन 397 अंकों पर accuracy मापता है जिन पर आपने कभी train नहीं किया: कम से कम 95% तक पहुँचें। (lr 0.5, 20 epochs, 64 hidden काम करता है।)

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।