चौड़े models छोटे steps चाहते हैं
यह क्यों मायने रखता है एक छोटे model के लिए काम करने वाली learning rate एक बड़े को बर्बाद कर सकती है। बड़े models train करने वाली टीमें यह पता करने में असली पैसा ख़र्च करती हैं; आप इसे दर्ज runs से पढ़ सकते हैं।
दर्ज gpt-width-lr प्रयोग ने नन्हे GPT को चौड़ाइयों 32, 64 और 128 पर, हर एक learning rates 0.001, 0.003 और 0.01 के साथ, 2,000 steps, हर एक तीन seeds के साथ train किया, और अंत में held-out text पर loss मापा।
देखने से पहले अनुमान लगाएँ: सबसे चौड़े model, 128, के लिए कौन-सी learning rate सबसे अच्छी है?
इस पाठ के शब्द और चिह्न
- query, key, value
- एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
my_guess को 0.001, 0.003 या 0.01 में से एक पर सेट करें, फिर mean_loss भरें: (width, lr) से तीन seeds पर औसत अंतिम held-out loss (exp.seeds(d=..., lr=...) तीन runs देता है; हर run का अंतिम held-out loss run.val_loss[-1][1] है)। फिर best_lr भरें: width से सबसे कम औसत वाली learning rate।
फिर Module 9 का शोर नियम इस्तेमाल करके बताएँ कि कौन-सी settings सच में अलग हैं। हर एक तीन seeds के साथ, दो औसत सच में तभी अलग हैं जब अंतर लगभग 2 × s × sqrt(2/3) से ज़्यादा हो, जहाँ s दोनों settings के seed फैलावों में बड़ा है (तीनों मानों का np.std)। कोई भी क़रीबी चीज़ बराबरी है।
ties सेट करें: width से उन learning rates की सूची जो उस width के सबसे अच्छे से बराबर हैं (सबसे अच्छा शामिल)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।