जल्दी एक learning rate ढूँढना, और उछाल clip करना
यह क्यों मायने रखता है learning rates का अनुमान लगाना दिन बर्बाद करता है। एक छोटा run आपको एक अच्छी बताता है। और एक बुरा batch एक run को उड़ा सकता है जब तक आप step पर सीमा न लगाएँ।
सीमा test
हर step learning rate थोड़ी बढ़ाते हुए, नन्ही से भारी तक, कुछ सौ steps train करें, और loss दर्ज करें। पहले कुछ नहीं होता; फिर loss तेज़ी से गिरता है; फिर यह फटता है। एक अच्छी learning rate वहाँ बैठती है जहाँ loss सबसे तेज़ गिर रहा था, विस्फोट से थोड़ा नीचे। एक आम नियम: वह rate लें जहाँ loss सबसे कम था और 10 से भाग दें।
Clipping
अगर gradient का कुल आकार (उसकी लंबाई, या norm) एक सीमा से ऊपर है, पूरे gradient को उस लंबाई तक नीचे scale करें। दिशा रखी जाती है; बस एक दुर्लभ भारी step क़ाबू होता है।
Gradient norm: सारे gradients को एक लंबे vector के रूप में लेने की लंबाई: उनके वर्गों के जोड़ का square root।
इस पाठ के शब्द और चिह्न
- gradient norm, clipping
- gradient का कुल आकार, और उस पर सीमा लगाना
pick_lr(lrs, losses) लिखें: वह learning rate जहाँ loss सबसे कम था, 10 से भाग दी। और clip(grads, max_norm): grads arrays की एक सूची है; अगर उनका मिला norm max_norm से ऊपर है, उन सबको ऐसे scale करके लौटाएँ कि norm max_norm के बराबर हो, नहीं तो उन्हें बिना बदले लौटाएँ।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।