अंकों पर एक छोटा CNN
यह क्यों मायने रखता है यह 1998 का LeNet का विचार है: convolution, pooling, convolution, pooling, फिर एक classifier। इसे अपनी कमाई घर की layers से बनाएँ और इसे खिसके अंकों पर MLP को हराते देखें।
घर की library nnsim.engine में वे layers हैं जो आपने बनाईं: conv (3 गुणा 3, same padding), relu, pool2 (2 गुणा 2 औसत), gap (global average pooling), matmul, cross_entropy और Adam। C_in से C_out channels तक 3 गुणा 3 filters के एक conv weight का आकार (9 * C_in, C_out) है।
घर की library, एक card में (इसे कोर्स के बाकी हिस्से के लिए पास रखें; print(E.GUIDE) इसे किसी भी पाठ में फिर दिखाता है)
E.T(array)संख्याओं को एक tensor के रूप में लपेटता है।.dataarray है (float32);.gradतब तकNoneहै जब तकbackward()उस तक न पहुँचे।loss.backward()हर उस tensor पर.gradभरता है जिस पर loss निर्भर है।opt = E.Adam(params, lr)tensors की एक सूची लेता है।opt.step()हर उस एक को अद्यतन करता है जिसका gradient है और फिर उसका.gradवापसNoneपर सेट करता है, इसलिए आप कभी ख़ुद gradients शून्य नहीं करते।- Images channels last हैं: (batch, rows, columns, channels)।
E.conv(x, w)आकार रखता है (same padding) और आकार (9 * C, F) केwसे C channels को F में बदलता है।E.pool2rows और columns आधे करता है;E.gapउनका औसत लेकर हटाता है, (batch, channels) देते हुए। E.cross_entropy(logits, y): logits (batch, classes) एक tensor के रूप में, y एक सादा integer array। यह एक संख्या रखने वाला tensor लौटाता है;float(loss.data)उसे पढ़ता है।- एक पूरा training step तीन lines है:
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step()। - दर्ज runs:
print(R.experiment(name))उसकी settings और उसके metrics के नाम सूचीबद्ध करता है;run = exp.run(setting=value, ...), फिरrun.loss(step और loss के जोड़े),run.metrics(एक dictionary) औरrun.final_loss।
chart के साथ Call the Curve: epoch 1 के बाद और epoch 8 (आख़िरी) के बाद training loss का अनुमान लगाएँ।
इस पाठ के शब्द और चिह्न
- convolution
- weights का एक छोटा grid (एक filter) एक image पर सरकाना, हर स्थिति पर एक dot product
- filter, feature map
- weights का छोटा सीखा grid; और उसकी प्रतिक्रियाओं की image
- padding (p), stride (s)
- किनारे के आस-पास जोड़े शून्य; filter हर step कितने pixels हिलता है
- pooling
- हर block का max या औसत रखकर एक map सिकोड़ना
- RECORDED
- एक असली run जो कोर्स ने एक बार train किया और आपके अध्ययन के लिए भेजता है
my_guess भरें, फिर एक function predict(X) लौटाने वाला train(epochs, seed) लिखें। conv(1 से 16) + relu, conv(16 से 32) + relu, global average pooling, फिर 10 classes तक एक linear layer इस्तेमाल करें। test अंकों पर कम से कम 90% तक पहुँचें, और 2 pixels खिसके test अंकों पर कम से कम 60% (जहाँ MLP ने लगभग 21% पाया)। खिसका अंक seed दर seed बहुत हिलता है (कोर्स का अपना जवाब पाँच seeds पर 0.76 से 0.89 पाता है), इसलिए सीमा उससे काफ़ी नीचे है। लगभग 1e-2 की learning rate पर Adam यहाँ काम करता है; 3e-3 के साथ यह छोटा network पाठ के लिए बहुत धीरे सीखता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।