Neural Networks: न्यूरॉन से ट्रांसफ़ॉर्मर तक
neural networks ख़ुद बनाएँ, एक न्यूरॉन से एक transformer तक, फिर generative models, diffusion, scaling laws और एक model के अंदर देखना, सादे Python और NumPy में, आपके ब्राउज़र में train। अपना autograd लिखें, टूटे runs का निदान करें, दावों को सबूत से परखें, और एक capstone के साथ ख़त्म करें जिसे आप फिर चला सकें। मुफ़्त, बिना खाते के।
असली Python और NumPy इस टैब में तैयार हैं।
कोई इंस्टॉल नहीं, कोई खाता नहीं, कोई सेटअप नहीं। इस कोर्स का हर नेटवर्क आपके अपने डिवाइस पर ट्रेन होता है, और आप जो लिखते हैं वह कुछ भी उससे बाहर नहीं जाता। मॉड्यूल 1 आपको ज़रूरी Python और NumPy दोहराता है। पहले से अच्छी तरह आते हैं? उसका आख़िरी पाठ एक छोटा द्वार है जिसे आप पहले दे सकते हैं: उसे पास करें और कोर्स आपको सीधे आगे बढ़ा देता है।
रोज़ का दोहराव
अंतराल पर दोहराना सीखी हुई चीज़ों को फीका पड़ने से बचाता है।
Module 0: शुरुआती रेखा
आप कर पाएँगे: बताना कि कोर्स कैसे काम करता है और क्या मापता है; एक अनुमान लगाना और उसे एक run से जाँचना; चार dials पर अपना शुरुआती अंक दर्ज करना; अपने device की गति FLOPs में मापना।
Module 1: इस कोर्स के लिए Python
आप कर पाएँगे: lists और dictionaries पर functions लिखना और test करना; loops के बजाय NumPy arrays, shapes, slicing और broadcasting इस्तेमाल करना; बेतरतीबी को दोहराने लायक seed करना; छोटी classes और closures लिखना। Python gate से जाँचा (पहले से धाराप्रवाह? इसे पहले लें: पास होना module छुड़वाता है)।
Module 2: गणित और probability, बस ज़रूरत भर
आप कर पाएँगे: dot products, matrix गुणा और broadcasts निकालना; धकेलकर और chain rule से ढलानें ढूँढना, संख्याओं और पूरे matrices के लिए; समझाना कि फैलाव कैसे जुड़ता है और एक eigenvalue क्या करता है; softmax gradient निकालना; ऐसे log-sum-exp, softmax और cross-entropy लिखना जो कभी overflow न हों (gate)।
Module 3: Neuron से MLP तक
आप कर पाएँगे: NumPy में एक neuron, activations और एक दो-layer network बनाना; हाथ से backprop निकालना और उसे एक gradient checker से जाँचना; एक अंक पाठक को 95% से आगे train करना; एक नए dataset के लिए अपना network बनाना और train करना (gate)।
Module 4: आपका अपना autograd engine
आप कर पाएँगे: एक reverse-mode autograd engine बनाना (graph, topological क्रम, backward नियम, broadcasting, reductions); उसे धकेलने से जाँचना; उस पर बिना हाथ से लिखे gradients के एक network train करना; अकेले एक नया operation जोड़ना (gate)।
Module 5: Optimisation
आप कर पाएँगे: समझाना कि एक खिंचा परिदृश्य धीमा क्यों है; minibatch SGD, momentum, RMSProp, Adam और AdamW, schedules और clipping बनाना; एक budget में, एक अनदेखी समस्या के लिए एक optimiser चुनना और tune करना (gate)।
Module 6: शुरुआती weights और normalisation
आप कर पाएँगे: गहराई से signals मापना और Xavier, LeCun या He पैमाने चुनना; मरी units ढूँढना; BatchNorm forward और backward, LayerNorm और RMSNorm बनाना; train/eval जाल से बचना; गहरे networks में shortcuts इस्तेमाल करना।
Module 7: नए डेटा पर काम
आप कर पाएँगे: over- और underfitting, bias और variance मापना; weight decay, dropout, augmentation और early stopping इस्तेमाल करना; double descent और learning curves ईमानदारी से पढ़ना; एक model को validation डेटा पर tune करके held-out डेटा पर रिपोर्ट करना (gate)।
Module 8: Run Clinic I, टूटे runs का इलाज
आप कर पाएँगे: किसी भी training run पर पहली दो जाँचें चलाना; ऐसे probes चुनना जो संभावित दोषों को अलग करें; एक budget पर (gate) एक छोटे बदलाव से टूटे runs का निदान और इलाज करना; एक AI helper के निदानों को सबूत से परखना।
Module 9: क्या यह सचमुच बेहतर है?
आप कर पाएँगे: बिना रिसाव के डेटा बाँटना; precision और recall इस्तेमाल करना; seeds पर फैलाव मापना; एक अंक पर bootstrap error bars लगाना; calibration मापना; एक paired interval से दो models की तुलना करके फ़ैसला करना (gate)।
Module 10: देखने वाले networks (CNNs)
आप कर पाएँगे: convolution, padding, pooling और उनके gradients, और im2col बनाना; घर के engine पर CNNs train करना; seeds पर दर्ज runs पढ़ना; एक आधार के विरुद्ध saliency परखना; transfer इस्तेमाल करना; एक weight budget में एक CNN design करना (gate)।
Module 11: memory वाले networks (RNNs)
आप कर पाएँगे: एक RNN और एक अक्षर model बनाना; backprop through time निकालना; vanishing gradients मापना; LSTM gates बनाना; दर्ज memory और bottleneck प्रयोग पढ़ना; temperature के साथ नमूना लेना; एक टूटे recurrent model की मरम्मत करना (gate)।
Module 12: संख्याओं के रूप में शब्द (embeddings)
आप कर पाएँगे: एक embedding को एक lookup मानना; एक जोड़ी-मिलाने वाला tokenizer बनाना; गिनकर और skip-gram से शब्द vectors बनाना; उनकी नक़ल किया एक skew मापना और हटाना; यह सब अकेले एक ऐसी दुनिया पर करना जो आपने नहीं देखी (gate)।
Module 13: Attention और transformers
आप कर पाएँगे: attention, causal mask, heads, positions, layer norm और एक पूरा block बनाना जो एक असली model से मेल खाए; attention का backward pass निकालना; एक छोटा GPT train करना; दर्ज runs पढ़ना; एक cache के साथ बनाना; अपने engine को PyTorch पर मैप करना; एक टूटे transformer की मरम्मत करना (gate)।
Module 14: Run Clinic II, sequence models का इलाज
आप कर पाएँगे: टूटे sequence models का निदान करना, जिनमें बढ़िया दिखती धोखाधड़ियाँ, रुकावटें, step आकार और sampling गड़बड़ियाँ शामिल हैं; विफल दर्ज runs पढ़ना; एक AI सहायक को सबूत से परखना; एक budget पर अकेले निदान करना (gate); अपनी निकास परीक्षा की आधार से तुलना करना।
Module 15: दबाएँ, फिर बनाएँ, बनाएँ नया (autoencoders और VAEs)
आप कर पाएँगे: अंकों को कुछ संख्याओं में दबाना और उन्हें फिर बनाना; मापों के साथ बताना कि एक autoencoder नए अंक क्यों नहीं बना सकता; दो घंटी वक्रों के बीच KL और ELBO निकालना; ऐसे sample करना जिससे आप train कर सकें; एक VAE train करना जो नए अंक बनाए; अंकों के बीच चलना; अकेले एक ढहे VAE का निदान और इलाज करना (gate)।
Module 16: एक खेल में दो networks (GANs, वैकल्पिक)
वैकल्पिक module, प्रमाणपत्र के लिए ज़रूरी नहीं। आप कर पाएँगे: GAN losses लिखना और उनकी ढलानों से बताना कि saturating वाला कब रुकता है; आठ blobs पर एक GAN train करना और उसके ढकाव को परखना; mode collapse करवाना; दर्ज seeds पर स्थिर करने वाली तरकीबें परखना और रिपोर्ट करना कि किसने मदद की; एक convolutional generator चलाना; अकेले एक टूटे GAN को बचाना (gate)।
Module 17: शोर अंदर, तस्वीरें बाहर (diffusion)
आप कर पाएँगे: एक schedule से शोर जोड़ना, step दर step और एक छलाँग में; network के तीरों को data तक वापस पढ़ना; एक शोर अनुमानक train करना; DDPM से sample करना और बताना कि साफ़ अनुमान clip क्यों किया जाता है; मापकर शोर schedules और समय inputs की तुलना करना; एक U-Net बनाना; DDIM से कम steps में sample करना; classifier-free guidance से samples को दिशा देना; एक प्रशिक्षित model को fine-tune करना; अकेले एक नया आकार fit करना (gate)।
Module 18: बिना labels के सीखना
आप कर पाएँगे: nearest-neighbour सहमति और अपने लिखे एक linear probe से features परखना; masked prediction से pretrain करना; InfoNCE लिखना और बताना कि यह cross-entropy क्यों है; SimCLR से pretrain करना और पढ़ना कि उसके augmentations क्या तय करते हैं; तस्वीरों से captions मिलाना (वैकल्पिक); अकेले, उन objects पर features परखना जो model ने कभी नहीं देखे (gate)।
Module 19: बड़ा, और कितना बेहतर (scaling laws)
आप कर पाएँगे: एक training run की क़ीमत FLOPs में निकालना; एक फ़र्श और error bars के साथ एक power law fit करना; पढ़ना कि weights या डेटा एक run को सीमित करते हैं; एक तय budget के लिए सबसे अच्छा model आकार योजना बनाना; एक बड़े run का अनुमान लगाकर उसे जाँचना; एक असली छलाँग को एक ऐसे metric से अलग बताना जो एक बनाता है; अकेले एक run की योजना बनाना (gate)।
Module 20: एक प्रशिक्षित model को सस्ते में ढालना
आप कर पाएँगे: catastrophic forgetting दिखाना; LoRA गिनना, बनाना और gradient-जाँचना; मापों से उसका rank चुनना; एक model को उसे बर्बाद किए बिना अपने text पर fine-tune करना; बताना कि distillation कब मदद करता है; weights quantise करना और लागत का अनुमान लगाना; DPO से preferences tune करना और समय पर रुकना; एक स्थिति के लिए एक तरीका चुनना; अकेले एक budget पर एक ढालने का लक्ष्य पूरा करना (gate)।
Module 21: एक model के अंदर देखना
आप कर पाएँगे: बताना कि एक model के अंदर के बारे में सबूत एक pattern है, एक effect या एक mechanism; एक control के साथ एक probe चलाना; जानकारी कहाँ है यह ढूँढने के लिए activations patch करना; हिस्से हटाना और backup जाँचना; सामने के model पर एक पाठ्यपुस्तक mechanism परखना; एक खिलौने में superposition दिखाना; एक sparse autoencoder train करना और अनदेखे text पर एक feature label परखना; दर्ज runs से grokking पढ़ना और उसकी लहरों को हटाकर जाँचना; बस नए inputs पर जानकारी कहाँ है यह ढूँढना (gate)।
Module 22: दावों को परखना
आप कर पाएँगे: overlap से एक रिसा test set ढूँढना और साफ़ अंक रिपोर्ट करना; एक औसत loss को उस हिस्से पर बाँटना जो मायने रखता है; बताना कि zero और mean ablation कैसे अलग हैं और तरीका रिपोर्ट करना; standard errors से एक-seed के अंतर को एक मापे अंतर से अलग बताना; एक नतीजे को नए seeds पर दोहराना और वह setting ढूँढना जहाँ वह टिकना बंद करता है; अकेले एक दावे की समीक्षा करना (gate)।
Module 23: Capstone studio: एक model card जिसे आप चला सकें
आप कर पाएँगे: एक FLOP budget के साथ एक प्रोजेक्ट की योजना बनाना; seeds पर एक baseline का अनुमान लगाना और चलाना; error bars से बदलावों को परखना; gradient checking से एक bug ढूँढना जो फिर भी train होता है; एक untrained control के मुक़ाबले अपने model के अंदर एक खोज करना; error bars के साथ एक छिपे set पर एक बार मूल्यांकन करना; एक model card लिखना जिसकी हर संख्या आपके run log से मेल खाए; एक offline फ़ाइल export करना जिसके runs फिर चलें।
Module 24: अंतिम परीक्षा और दोबारा परीक्षा
आप कर पाएँगे: AI बंद के साथ, दिखाना कि Part 2 ने चारों dials पर क्या सिखाया (form C); शुरुआती रेखा से Part 2 के अंत तक अपने dials की तुलना करना; एक महीने बाद जाँचना कि क्या टिका (form D, वैकल्पिक)।
इन्हें सिर्फ़ आप प्रिंट या सेव कर सकते हैं। लिंक इसी ब्राउज़र में सेव हैं। किसी को दिखाने के लिए, प्रमाणपत्र से जाँच वाला लिंक साझा करें।