पाठ्यक्रम 246 में से पाठ 61 · Module 4: आपका अपना autograd engine
Module 4: आपका अपना autograd engine

Layers जो अपने weights ख़ुद रखती हैं

यह क्यों मायने रखता है असली networks में कई layers होती हैं। हर layer को अपने weights का मालिक होना चाहिए और उन्हें सूचीबद्ध कर पाना चाहिए, ताकि training code को कभी न जानना पड़े कि अंदर क्या है।

एक Linear layer W और b को Tensors के रूप में रखती है और x @ W + b निकालती है। एक MLP Linear layers की एक सूची रखता है, उनके बीच ReLU के साथ। दोनों parameters() देते हैं, अपने weight Tensors की एक सूची।

gradients शून्य क्यों करें

आपका backward हर grad में जोड़ता है। एक pass के भीतर वह सही है, पर steps के बीच पुराना gradient अब भी वहीं बैठा है। उसे साफ़ करना भूलें और हर step सारे पिछले gradients का जोड़ इस्तेमाल करता है: training भटकती है और फिर फट जाती है। इसलिए हर step है: grads शून्य करें, forward, backward, step।

Parameter: एक weight जिसे training बदलती है। zero_grad: अगले backward से पहले हर parameter का grad शून्य पर reset करना।

weights को फैलाव sqrt(2 / inputs) से शुरू करें, जो ReLU layers से signals को एक समझदार आकार में रखता है। Module 6 समझाता है क्यों।

इस पाठ के शब्द और चिह्न
Tensor
यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
unbroadcast
एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
zero_grad
अगले step से पहले gradients reset करना, क्योंकि backward उनमें जोड़ता है
आपकी बारी

बताए तरीके से Linear, MLP, zero_grad(params) और sgd_step(params, lr) लिखें। MLP([64, 32, 10], rng) दो Linear layers बनाता है, उनके बीच एक ReLU के साथ और आख़िरी के बाद कोई नहीं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।