Layers जो अपने weights ख़ुद रखती हैं
यह क्यों मायने रखता है असली networks में कई layers होती हैं। हर layer को अपने weights का मालिक होना चाहिए और उन्हें सूचीबद्ध कर पाना चाहिए, ताकि training code को कभी न जानना पड़े कि अंदर क्या है।
एक Linear layer W और b को Tensors के रूप में रखती है और x @ W + b निकालती है। एक MLP Linear layers की एक सूची रखता है, उनके बीच ReLU के साथ। दोनों parameters() देते हैं, अपने weight Tensors की एक सूची।
gradients शून्य क्यों करें
आपका backward हर grad में जोड़ता है। एक pass के भीतर वह सही है, पर steps के बीच पुराना gradient अब भी वहीं बैठा है। उसे साफ़ करना भूलें और हर step सारे पिछले gradients का जोड़ इस्तेमाल करता है: training भटकती है और फिर फट जाती है। इसलिए हर step है: grads शून्य करें, forward, backward, step।
Parameter: एक weight जिसे training बदलती है। zero_grad: अगले backward से पहले हर parameter का grad शून्य पर reset करना।
weights को फैलाव sqrt(2 / inputs) से शुरू करें, जो ReLU layers से signals को एक समझदार आकार में रखता है। Module 6 समझाता है क्यों।
इस पाठ के शब्द और चिह्न
- Tensor
- यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
- unbroadcast
- एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
- zero_grad
- अगले step से पहले gradients reset करना, क्योंकि backward उनमें जोड़ता है
बताए तरीके से Linear, MLP, zero_grad(params) और sgd_step(params, lr) लिखें। MLP([64, 32, 10], rng) दो Linear layers बनाता है, उनके बीच एक ReLU के साथ और आख़िरी के बाद कोई नहीं।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।