पाठ्यक्रम 246 में से पाठ 152 · Module 13: Attention और transformers
Module 13: Attention और transformers

parameters कहाँ हैं

यह क्यों मायने रखता है "एक 7 अरब parameter model" बस एक बड़े d पर यही अंकगणित है। गिन पाना आपको बताता है कि memory कहाँ जाती है और चौड़ाई महँगी क्यों है।

हर block पर, बड़े matrices Wq, Wk, Wv और Wo (चार d गुणा d: 4d squared) और feed-forward (d गुणा 4d और 4d गुणा d: 8d squared) हैं। वह 12 d squared है, जमा layer norms के लिए लंबाई d के कुछ vectors।

blocks के बाहर: token embeddings (V गुणा d, इस model में output layer के रूप में भी फिर इस्तेमाल), position vectors (ctx गुणा d) और अंतिम layer norm।

d दोगुना करना block parameters को 4 से गुणा करता है, पर समय को 4 से नहीं। दर्ज चौड़ाई-128 runs ने औसतन चौड़ाई 64 से लगभग 2.3 गुना समय लिया (run दर run 1.1 से 4 गुना तक: एक साझा machine पर घड़ी का समय शोर भरा है), और चौड़ाई 32 चौड़ाई 64 से तेज़ नहीं थी। इतने छोटे models में, हर step की तय लागतें (Python, छोटे arrays) समय का बड़ा हिस्सा हैं; 4x बस तब दिखता है जब matrix गुणा हावी हों।

इस पाठ के शब्द और चिह्न
head
अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
position vector
हर token में जोड़ा जाता है ताकि attention क्रम बता सके
layer norm
हर vector को अपने आप normalise करें: औसत 0, फैलाव 1, फिर गुणा g जमा b
12 d squared
एक block के matrices में parameters
आपकी बारी

count(V, d, layers, ctx) लिखें जो इस GPT की ठीक parameter गिनती लौटाए (हर block में 12 d squared + 4d है: g और b के साथ दो layer norms)। इसे असली models से मेल खाना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।