पाठ्यक्रम 246 में से पाठ 203 · Module 19: बड़ा, और कितना बेहतर (scaling laws)
Module 19: बड़ा, और कितना बेहतर (scaling laws)

Weights, डेटा, या compute: इसे क्या रोक रहा है?

यह क्यों मायने रखता है ग़लत चीज़ पर ज़्यादा ख़र्च कुछ नहीं ख़रीदता। डेटा का भूखा एक model बड़ा बनाने पर नहीं सुधरता; एक छोटा model ज़्यादा खिलाने पर नहीं सुधरता। grid दोनों दिखाता है, अगर आप जानें कहाँ देखना है।

grid की एक row पर (एक चौड़ाई, और और डेटा) और एक column के नीचे (डेटा की एक मात्रा, चौड़े और चौड़े models) देखें।

एक run data-limited है जब model चौड़ा बनाना उस मात्रा के डेटा पर मुश्किल से मदद करे (या नुक़सान करे)। यह model-limited है जब ज़्यादा डेटा उस चौड़ाई पर मुश्किल से मदद करे।

इस पाठ के शब्द और चिह्न
token
यहाँ, एक अनुमान: एक अक्षर
data-limited, model-limited
जब ज़्यादा चौड़ाई, या ज़्यादा डेटा, मुश्किल से मदद करे
आपकी बारी

gain_wider भरें: 8,000 tokens और 15 लाख tokens के लिए, चौड़ाई 256 से चौड़ाई 1024 तक loss गिरावट। gain_more_data भरें: चौड़ाई 2 और चौड़ाई 1024 के लिए, 512,000 से 15 लाख tokens तक loss गिरावट। फिर दो कोनों के लिए verdict सेट करें: "data-limited" या "model-limited"।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।