Gate: एक training run की योजना बनाएँ (AI बंद)
यह क्यों मायने रखता है यही वह फ़ैसला है जिसके लिए scaling laws हैं: आपके पास एक budget और एक मौक़ा है। सबूत से इसकी योजना बनाएँ।
Gate नियम: AI tutor बंद। आपके पास कोर्स के अक्षर model के एक run के लिए 3 x 10^10 FLOPs हैं, grid वाले ही टेक्स्ट पर। एक चौड़ाई (2 की एक घात) और tokens की वह संख्या चुनें जिसकी budget फिर अनुमति देता है। दर्ज grid किसी भी तरह इस्तेमाल करें: fits, tables, दोनों।
जाँच कोर्स के दो-चर fit से आपके चुनाव और सबसे अच्छे संभव चुनाव के loss का अनुमान लगाती है, और पास करती है जब आपका सबसे अच्छे के 0.02 के अंदर हो और आपने budget ख़र्च किया (1% के अंदर)।
इस पाठ के शब्द और चिह्न
- scaling law
- weights, डेटा या compute बढ़ने पर loss कैसे गिरता है, आमतौर पर एक फ़र्श की ओर एक power law
- token
- यहाँ, एक अनुमान: एक अक्षर
- FLOPs (6 N D)
- training की क़ीमत: हर weight पर हर token के लगभग 6 operations
width और tokens सेट करें।
AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।