पाठ्यक्रम 246 में से पाठ 200 · Module 19: बड़ा, और कितना बेहतर (scaling laws)
Module 19: बड़ा, और कितना बेहतर (scaling laws)

एक बड़े model का अनुमान लगाएँ

यह क्यों मायने रखता है एक बड़ा model train करने में महीने और लाखों लगते हैं। उसे ख़र्च करने से पहले, कोई छोटे runs से अनुमान लगाता है कि यह कितना अच्छा होगा। AI उछाल के पीछे का चौंकाने वाला तथ्य यह है कि अनुमान आमतौर पर काम करता है। पहले, देखें कि आपकी अपनी सहज-बुद्धि कितनी अच्छी है।

इस module के models छोटे अक्षर models हैं: वे 8 अक्षर पढ़कर अगले का अनुमान लगाते हैं। एक संख्या उनका आकार तय करती है, छिपी layer की चौड़ाई। कोर्स ने उनमें से 150 train किए (10 चौड़ाइयाँ, डेटा की 5 मात्राएँ, हर एक 3 seeds) अपने पाठ टेक्स्ट के 15 लाख अक्षरों पर, और हर एक का loss 100,000 अक्षरों पर मापा जो उसने कभी नहीं देखे।

15 लाख tokens पर train हुआ एक चौड़ाई-128 model (24,401 weights) लगभग 1.86 के held-out loss तक पहुँचता है। यहाँ एक token एक अनुमान है: एक अक्षर।

देखने से पहले: एक चौड़ाई-1024 model में 7.7 गुना weights हैं। उसी डेटा पर train होकर, यह किस loss तक पहुँचेगा? पैमाने के लिए: हर अक्षर को बराबर संभावित मानना 4.42 पाता है, और इन models के सबसे अच्छे 2 से नीचे पहुँचते हैं।

इस पाठ के शब्द और चिह्न
token
यहाँ, एक अनुमान: एक अक्षर
आपकी बारी

my_guess को 15 लाख tokens पर चौड़ाई 1024 के लिए अपने अनुमानित held-out loss पर सेट करें। फिर actual दर्ज runs से (3 seeds पर औसत) सेट करें, और error इस पर कि आप कितने दूर थे (actual घटा guess)।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।