पाठ्यक्रम 246 में से पाठ 204 · Module 19: बड़ा, और कितना बेहतर (scaling laws)
Module 19: बड़ा, और कितना बेहतर (scaling laws)

एक तय budget का सबसे अच्छा इस्तेमाल

यह क्यों मायने रखता है एक तय compute budget C के साथ, एक बड़ा model कम tokens देखता है (C = 6 N D)। बहुत बड़ा और यह भूखा है; बहुत छोटा और यह budget ख़त्म होने से पहले भर जाता है। 2022 में इस गणना ("Chinchilla" paper) ने दिखाया कि उस समय के ज़्यादातर बड़े models उस डेटा के लिए बहुत बड़े थे जिस पर वे train हुए।

दोनों असर एक साथ fit करें:

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d इसे सारे 150 runs पर fit करता है। फिर एक budget C के लिए, हर चौड़ाई N D = C / (6 N) तय करती है, और सूत्र loss का अनुमान लगाता है: सबसे कम अनुमान वाली चौड़ाई चुनें। scaling.params_of(width) एक चौड़ाई के weights देता है।

क्षेत्र अब कहाँ है Hoffmann et al. (2022, "Chinchilla") ने यही दो-चर रूप बड़े language models पर fit किया और compute-optimal बँटवारा हर weight पर लगभग 20 training tokens पर पाया। Labs अब अक्सर इसके बहुत पार train करते हैं (एक छोटे model के लिए कहीं ज़्यादा tokens), क्योंकि एक छोटा model हर बार जवाब देने पर सस्ता है: training के लिए compute-optimal इस्तेमाल के लिए optimal नहीं। और जब वे एक model चौड़ा बनाते हैं, वे उसके शुरुआती weights और हर-layer learning rates फिर scale करते हैं (muP, Yang et al. 2022) ताकि एक छोटे model पर मिली सबसे अच्छी learning rate बड़े पर भी काम करे: वह समस्या जिसे Module 13 के "चौड़े models छोटे steps चाहते हैं" पाठ ने मापा।

इस पाठ के शब्द और चिह्न
exponent (alpha, beta)
ज़्यादा weights (alpha) या ज़्यादा डेटा (beta) के साथ loss कितनी तेज़ी से गिरता है
token
यहाँ, एक अनुमान: एक अक्षर
FLOPs (6 N D)
training की क़ीमत: हर weight पर हर token के लगभग 6 operations
compute-optimal
model आकार और डेटा के बीच एक तय budget का वह बँटवारा जो सबसे कम loss देता है
आपकी बारी

grid को f में fit करें। सबसे कम अनुमानित loss वाली चौड़ाई (2 से 4096 तक 2 की एक घात) लौटाने वाला plan(f, budget) लिखें। 1e9, 1e10 और 1e11 FLOPs के budgets के लिए choice भरें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।