पाठ्यक्रम 246 में से पाठ 205 · Module 19: बड़ा, और कितना बेहतर (scaling laws)
Module 19: बड़ा, और कितना बेहतर (scaling laws)

एक बड़े run का अनुमान लगाएँ, फिर उसे देखें

यह क्यों मायने रखता है एक fit जो बस आपके पास के runs का वर्णन करे एक सार है। एक fit जो एक ऐसे run का अनुमान लगाए जो आपके पास नहीं था एक नियम है, कम से कम अभी के लिए। यह रही परख।

grid पूरा होने के बाद कोर्स ने एक और आकार train किया: चौड़ाई 2048, लगभग 375,000 weights, grid के सबसे बड़े का दोगुना, पूरे 15 लाख tokens पर, 3 seeds। आपने इसका loss नहीं देखा।

इसका अनुमान लगाने के लिए पाठ 3 का power law इस्तेमाल करें (एक बार में एक चौड़ाई, 15 लाख tokens)। संख्या code में पक्की करें, फिर दर्ज नतीजा खोलें।

इस पाठ के शब्द और चिह्न
power law
y = A x^-alpha: log-log axes पर एक सीधी रेखा
token
यहाँ, एक अनुमान: एक अक्षर
आपकी बारी

15-लाख-token grid को scaling.fit_power_law से fit करें, चौड़ाई 2048 (scaling.params_of(2048) weights) के लिए prediction सेट करें, फिर actual (scaling.recorded_bigger() का औसत) और error सेट करें। better_than_my_gut सेट करके इसकी पाठ 1 की अपनी सहज त्रुटि से तुलना करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।