एक फ़र्श के साथ एक power law fit करना
यह क्यों मायने रखता है "बड़ा बेहतर है" योजना के लिए बेकार है। "loss weights की घात -0.5 के रूप में गिरता है, 1.6 के एक फ़र्श की ओर" आपको उस run पर एक संख्या लगाने देता है जिसके लिए आपने भुगतान नहीं किया। वह संख्या पाना, और आप उसके बारे में कितने पक्के हैं, कौशल है।
वह आकार जो ज़्यादातर scaling डेटा में फ़िट होता है:
loss = E + A N^(-alpha)
N weights की संख्या है, alpha exponent (यह कितनी तेज़ी से सुधरता है), और E फ़र्श: वह loss जिसे इस परिवार का कोई model इस डेटा पर नहीं हरा सकता। इसका कुछ हिस्सा टेक्स्ट का अनुमान न लगाने लायक होना है; कुछ परिवार की अपनी सीमा (यह model बस 8 अक्षर पीछे देखता है)। एक अलग परिवार, मान लें जो और पीछे पढ़ता है, का फ़र्श कम है। फ़र्श के बिना, छोटे models पर एक fit बढ़ा-चढ़ाकर बताता है कि बड़े कितना कमाते हैं।
इसे कैसे fit करें: 0 और सबसे छोटे loss के ठीक नीचे के बीच हर उम्मीदवार फ़र्श E के लिए, logs लें, log(loss - E) = log A - alpha log N, जो एक सीधी रेखा है, और उसे least squares से fit करें। वह E रखें जिसके वक्र की losses पर ख़ुद सबसे छोटी वर्ग त्रुटि है।
Error bars: हर आकार के 3 seeds हैं। कई बार फिर fit करें, हर बार हर आकार के लिए बेतरतीब ढंग से एक seed चुनते हुए (एक bootstrap), और alpha का फैलाव देखें। दृश्य देखें: वही बिंदु, फ़र्श के साथ और बिना fit किया वक्र, और bootstrap fits की पट्टी।
इस पाठ के शब्द और चिह्न
- power law
- y = A x^-alpha: log-log axes पर एक सीधी रेखा
- exponent (alpha, beta)
- ज़्यादा weights (alpha) या ज़्यादा डेटा (beta) के साथ loss कितनी तेज़ी से गिरता है
- फ़र्श (E)
- वह loss जिसे कोई model इस डेटा पर नहीं हरा सकता
- token
- यहाँ, एक अनुमान: एक अक्षर
- bootstrap
- यह देखने के लिए कि एक fit की संख्या कितना हिलेगी, फिर से लिए डेटा पर फिर fit करना
बताए तरीके से (E, A, alpha) लौटाने वाला fit(N, loss) लिखें (0 से 0.999 x सबसे छोटे loss तक 400 उम्मीदवार फ़र्श)। 15-लाख-token runs (हर चौड़ाई का एक औसत) को main में fit करें, फिर 100 bootstrap refits चलाएँ और interval को alpha के 5वें और 95वें percentile पर सेट करें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।