parameters कहाँ हैं
यह क्यों मायने रखता है "एक 7 अरब parameter model" बस एक बड़े d पर यही अंकगणित है। गिन पाना आपको बताता है कि memory कहाँ जाती है और चौड़ाई महँगी क्यों है।
हर block पर, बड़े matrices Wq, Wk, Wv और Wo (चार d गुणा d: 4d squared) और feed-forward (d गुणा 4d और 4d गुणा d: 8d squared) हैं। वह 12 d squared है, जमा layer norms के लिए लंबाई d के कुछ vectors।
blocks के बाहर: token embeddings (V गुणा d, इस model में output layer के रूप में भी फिर इस्तेमाल), position vectors (ctx गुणा d) और अंतिम layer norm।
d दोगुना करना block parameters को 4 से गुणा करता है, पर समय को 4 से नहीं। दर्ज चौड़ाई-128 runs ने औसतन चौड़ाई 64 से लगभग 2.3 गुना समय लिया (run दर run 1.1 से 4 गुना तक: एक साझा machine पर घड़ी का समय शोर भरा है), और चौड़ाई 32 चौड़ाई 64 से तेज़ नहीं थी। इतने छोटे models में, हर step की तय लागतें (Python, छोटे arrays) समय का बड़ा हिस्सा हैं; 4x बस तब दिखता है जब matrix गुणा हावी हों।
इस पाठ के शब्द और चिह्न
- head
- अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
- position vector
- हर token में जोड़ा जाता है ताकि attention क्रम बता सके
- layer norm
- हर vector को अपने आप normalise करें: औसत 0, फैलाव 1, फिर गुणा g जमा b
- 12 d squared
- एक block के matrices में parameters
count(V, d, layers, ctx) लिखें जो इस GPT की ठीक parameter गिनती लौटाए (हर block में 12 d squared + 4d है: g और b के साथ दो layer norms)। इसे असली models से मेल खाना होगा।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।