पाठ्यक्रम 246 में से पाठ 207 · Module 19: बड़ा, और कितना बेहतर (scaling laws)
Module 19: बड़ा, और कितना बेहतर (scaling laws)

Gate: एक training run की योजना बनाएँ (AI बंद)

यह क्यों मायने रखता है यही वह फ़ैसला है जिसके लिए scaling laws हैं: आपके पास एक budget और एक मौक़ा है। सबूत से इसकी योजना बनाएँ।

Gate नियम: AI tutor बंद। आपके पास कोर्स के अक्षर model के एक run के लिए 3 x 10^10 FLOPs हैं, grid वाले ही टेक्स्ट पर। एक चौड़ाई (2 की एक घात) और tokens की वह संख्या चुनें जिसकी budget फिर अनुमति देता है। दर्ज grid किसी भी तरह इस्तेमाल करें: fits, tables, दोनों।

जाँच कोर्स के दो-चर fit से आपके चुनाव और सबसे अच्छे संभव चुनाव के loss का अनुमान लगाती है, और पास करती है जब आपका सबसे अच्छे के 0.02 के अंदर हो और आपने budget ख़र्च किया (1% के अंदर)।

इस पाठ के शब्द और चिह्न
scaling law
weights, डेटा या compute बढ़ने पर loss कैसे गिरता है, आमतौर पर एक फ़र्श की ओर एक power law
token
यहाँ, एक अनुमान: एक अक्षर
FLOPs (6 N D)
training की क़ीमत: हर weight पर हर token के लगभग 6 operations
आपकी बारी

width और tokens सेट करें।

AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।