Batch आकार और learning rate साथ में
यह क्यों मायने रखता है Batch आकार और learning rate अलग knobs नहीं हैं। एक बदलें और दूसरे का सबसे अच्छा मान खिसकता है।
एक बड़ा batch कम शोर भरा gradient देता है, इसलिए यह सुरक्षित रूप से बड़ा step ले सकता है। एक मोटा नियम जिससे कई लोग शुरू करते हैं: अगर आप batch आकार दोगुना करें, तो आप learning rate मोटे तौर पर दोगुनी कर सकते हैं, उस बिंदु तक जहाँ step अस्थिर हो जाए।
नतीजे seed दर seed भी डगमगाते हैं, इसलिए settings की तुलना कई seeds पर करें, कभी एक run पर नहीं।
एक और जाल: यहाँ labels 0.1 फैलाव वाला शोर रखते हैं, इसलिए कोई setting loss को लगभग 0.1 squared = 0.01 से नीचे नहीं धकेल सकती। उस तली के पास कई जोड़े बराबर होते हैं (उदाहरण के लिए 0.0114 के मुक़ाबले 0.0113)। seed-दर-seed डगमगाहट से कम से "विजेता" विजेता नहीं, इसलिए run सबसे अच्छे के 5% के भीतर हर जोड़ा भी सूचीबद्ध करता है।
सार उन्हें साथ में tune करें, और seeds पर औसत लें।
इस पाठ के शब्द और चिह्न
- SGD
- छोटे बेतरतीब batches इस्तेमाल करता gradient descent
पहले अनुमान लगाएँ: my_pick में, grid से वह (batch, lr) जोड़ा लिखें जो आपके हिसाब से 2 epochs के बाद सबसे कम loss पर ख़त्म होता है। फिर sweep(X, y, batches, lrs, seeds) लिखें जो (batch, lr) से seeds पर औसत अंतिम loss की एक dictionary लौटाए (दिया sgd इस्तेमाल करें), और best(results) जो सबसे अच्छा जोड़ा लौटाए।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।