पाठ्यक्रम 246 में से पाठ 201 · Module 19: बड़ा, और कितना बेहतर (scaling laws)
Module 19: बड़ा, और कितना बेहतर (scaling laws)

आपके अपने छोटे runs, क़ीमत के साथ

यह क्यों मायने रखता है Scaling क़ीमत के बारे में एक कथन है: compute की हर unit पर कितना बेहतर। इसलिए हर run को एक क़ीमत टैग चाहिए, और training का क़ीमत टैग हैरानी की हद तक सादा है।

Training की क़ीमत लगभग हर weight पर हर token के 6 operations है: forward pass के लिए 2 (हर weight के लिए एक गुणा, एक जोड़) और backward pass के लिए लगभग 4 (inputs और weights के gradients)। यही FLOP Ledger नियम है जो आप शुरुआती रेखा से इस्तेमाल कर रहे हैं: scaling.flops(weights, tokens)।

यहाँ आप live तीन छोटे models train करते हैं, हर एक कोर्स टेक्स्ट के 32,000 tokens पर, क़ीमत में लगभग 7 गुना अलग।

इस पाठ के शब्द और चिह्न
token
यहाँ, एक अनुमान: एक अक्षर
FLOPs (6 N D)
training की क़ीमत: हर weight पर हर token के लगभग 6 operations
आपकी बारी

चौड़ाइयाँ 4, 16 और 64 हर एक 32,000 tokens के लिए train करें (scaling.train(model, 32_000) held-out loss लौटाता है)। runs को हर चौड़ाई के लिए weights, FLOPs और loss से भरें। फिर cost_ratio सेट करें: चौड़ाई-64 run की क़ीमत चौड़ाई-4 run से कितने गुना ज़्यादा थी।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।