Warmup और cosine schedules
यह क्यों मायने रखता है सबसे अच्छी learning rate पूरी training में एक जैसी नहीं होती। बड़े models लगभग हमेशा एक schedule से train होते हैं: एक हल्की शुरुआत, एक लंबा ऊँचा बीच, और एक धीमी उतराई।
इसे देखें
animation चलाएँ। Warmup: rate पहले कुछ सौ steps में लगभग शून्य से अपने शिखर तक एक सीधी रेखा में चढ़ती है, क्योंकि बिल्कुल शुरुआत में gradients बड़े और अविश्वसनीय होते हैं। Cosine decay: फिर यह आधी cosine लहर के साथ एक छोटी तली तक फिसलती है, इसलिए देर की training छोटे सावधान steps लेती है और एक अच्छी जगह में टिकती है।
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
सार चढ़ें, चलें, नीचे फिसलें।
इस पाठ के शब्द और चिह्न
- warmup, cosine
- learning rate छोटी शुरू करें, फिर उसे एक cosine के साथ नीचे फिसलाएँ
ऊपर के सूत्रों का पालन करते हुए lr_at(step, total, warmup, peak, floor) लिखें (steps 0 से गिने जाते हैं)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।