पाठ्यक्रम 246 में से पाठ 119 · Module 10: देखने वाले networks (CNNs)
Module 10: देखने वाले networks (CNNs)

अंकों पर एक छोटा CNN

यह क्यों मायने रखता है यह 1998 का LeNet का विचार है: convolution, pooling, convolution, pooling, फिर एक classifier। इसे अपनी कमाई घर की layers से बनाएँ और इसे खिसके अंकों पर MLP को हराते देखें।

घर की library nnsim.engine में वे layers हैं जो आपने बनाईं: conv (3 गुणा 3, same padding), relu, pool2 (2 गुणा 2 औसत), gap (global average pooling), matmul, cross_entropy और Adam। C_in से C_out channels तक 3 गुणा 3 filters के एक conv weight का आकार (9 * C_in, C_out) है।

घर की library, एक card में (इसे कोर्स के बाकी हिस्से के लिए पास रखें; print(E.GUIDE) इसे किसी भी पाठ में फिर दिखाता है)

  • E.T(array) संख्याओं को एक tensor के रूप में लपेटता है। .data array है (float32); .grad तब तक None है जब तक backward() उस तक न पहुँचे।
  • loss.backward() हर उस tensor पर .grad भरता है जिस पर loss निर्भर है।
  • opt = E.Adam(params, lr) tensors की एक सूची लेता है। opt.step() हर उस एक को अद्यतन करता है जिसका gradient है और फिर उसका .grad वापस None पर सेट करता है, इसलिए आप कभी ख़ुद gradients शून्य नहीं करते।
  • Images channels last हैं: (batch, rows, columns, channels)। E.conv(x, w) आकार रखता है (same padding) और आकार (9 * C, F) के w से C channels को F में बदलता है। E.pool2 rows और columns आधे करता है; E.gap उनका औसत लेकर हटाता है, (batch, channels) देते हुए।
  • E.cross_entropy(logits, y): logits (batch, classes) एक tensor के रूप में, y एक सादा integer array। यह एक संख्या रखने वाला tensor लौटाता है; float(loss.data) उसे पढ़ता है।
  • एक पूरा training step तीन lines है: loss = E.cross_entropy(forward(Xb), yb), loss.backward(), opt.step()।
  • दर्ज runs: print(R.experiment(name)) उसकी settings और उसके metrics के नाम सूचीबद्ध करता है; run = exp.run(setting=value, ...), फिर run.loss (step और loss के जोड़े), run.metrics (एक dictionary) और run.final_loss।

chart के साथ Call the Curve: epoch 1 के बाद और epoch 8 (आख़िरी) के बाद training loss का अनुमान लगाएँ।

इस पाठ के शब्द और चिह्न
convolution
weights का एक छोटा grid (एक filter) एक image पर सरकाना, हर स्थिति पर एक dot product
filter, feature map
weights का छोटा सीखा grid; और उसकी प्रतिक्रियाओं की image
padding (p), stride (s)
किनारे के आस-पास जोड़े शून्य; filter हर step कितने pixels हिलता है
pooling
हर block का max या औसत रखकर एक map सिकोड़ना
RECORDED
एक असली run जो कोर्स ने एक बार train किया और आपके अध्ययन के लिए भेजता है
आपकी बारी

my_guess भरें, फिर एक function predict(X) लौटाने वाला train(epochs, seed) लिखें। conv(1 से 16) + relu, conv(16 से 32) + relu, global average pooling, फिर 10 classes तक एक linear layer इस्तेमाल करें। test अंकों पर कम से कम 90% तक पहुँचें, और 2 pixels खिसके test अंकों पर कम से कम 60% (जहाँ MLP ने लगभग 21% पाया)। खिसका अंक seed दर seed बहुत हिलता है (कोर्स का अपना जवाब पाँच seeds पर 0.76 से 0.89 पाता है), इसलिए सीमा उससे काफ़ी नीचे है। लगभग 1e-2 की learning rate पर Adam यहाँ काम करता है; 3e-3 के साथ यह छोटा network पाठ के लिए बहुत धीरे सीखता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।