पाठ्यक्रम 246 में से पाठ 206 · Module 19: बड़ा, और कितना बेहतर (scaling laws)
Module 19: बड़ा, और कितना बेहतर (scaling laws)

असली छलाँगें, या metric की एक चाल?

यह क्यों मायने रखता है Headlines कहती हैं कि बड़े models किसी आकार पर अचानक क्षमताएँ पाते हैं: "emergence"। कभी-कभी छलाँग असली है। अक्सर क्षमता पूरे समय चिकने ढंग से सुधरी और metric ने उसे अचानक दिखाया (Schaeffer, Miranda और Koyejo, 2023)। कौन-सा कौन-सा है यह जानना तय करता है कि आप उसका अनुमान लगा सकते हैं या नहीं।

grid ने उसी held-out टेक्स्ट पर दो अंक दर्ज किए:

  • हर-अक्षर accuracy p: उन स्थानों का हिस्सा जहाँ अगले अक्षर के लिए model का शीर्ष अनुमान सही है। यह आकार के साथ चिकने ढंग से बढ़ती है, 15 लाख tokens पर 0.27 से 0.53।
  • सारे 5 सही: उन स्थानों का हिस्सा जहाँ यह अगले 5 अक्षर बिना ग़लती लिखता है। सब या कुछ नहीं।

अगर हर अक्षर स्वतंत्र रूप से प्रायिकता p से सही होता, तो लगातार पाँच p^5 समय सही होते। पहले इसे grid से जाँचें। फिर देखें कि exponent समान रूप से सुधरते एक कौशल के साथ क्या करता है। ये छोटे models पूरा असर दिखाने लायक दूर कभी नहीं पहुँचते, इसलिए दूसरा हिस्सा एक साफ़ label किया उदाहरण है, माप नहीं: 0.5 से 0.95 तक दस बराबर क़दमों में बढ़ती हर-अक्षर accuracy।

इस पाठ के शब्द और चिह्न
exponent (alpha, beta)
ज़्यादा weights (alpha) या ज़्यादा डेटा (beta) के साथ loss कितनी तेज़ी से गिरता है
token
यहाँ, एक अनुमान: एक अक्षर
emergence
एक क्षमता जो किसी आकार पर अचानक प्रकट होती लगती है; कभी-कभी एक सब-या-कुछ-नहीं metric से बनी
आपकी बारी

pairs भरें: 15 लाख tokens पर हर चौड़ाई के लिए, (p, p^5, मापा सारे-5-सही)। फिर उदाहरण के लिए all10 को p_even के लिए p^10 पर, और late_share को all10 की कुल बढ़त के उस हिस्से पर सेट करें जो 10 में से आख़िरी 3 क़दमों में होती है। आख़िर में case सेट करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।