पाठ्यक्रम 246 में से पाठ 151 · Module 13: Attention और transformers
Module 13: Attention और transformers

एक transformer block, हाथ से

यह क्यों मायने रखता है एक GPT वही block ढेर किया है। सादे NumPy से एक लिखें, उसे दर्ज model के असली weights से चलाएँ, और अगर आपकी संख्याएँ model की अपनी से मेल खाएँ, तो आप एक transformer की हर line समझते हैं।

इसे देखें

animation चलाएँ। एक block h (t स्थितियाँ गुणा d) लेता है और दो चीज़ें करता है, हर एक h पर वापस जोड़ी (Module 6 का residual रास्ता):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

दर्ज model के नाम: qkv{l} Wq, Wk और Wv को अगल-बगल रखता है (d गुणा 3d), o{l} Wo है, g1{l}, b1{l} और g2{l}, b2{l} दो layer norms हैं, w1{l}, w2{l} feed-forward। Head h Q, K और V में से हर एक के columns h गुणा 16 से (h + 1) गुणा 16 तक इस्तेमाल करता है।

इस पाठ के शब्द और चिह्न
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
head
अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
layer norm
हर vector को अपने आप normalise करें: औसत 0, फैलाव 1, फिर गुणा g जमा b
transformer block
h + attention(norm(h)), फिर h + feed-forward(norm(h))
आपकी बारी

एक sequence (h t गुणा d है) के लिए block(h, l) लिखें। पूरा model आपके लिए जोड़ा गया है; उसके logits को model.logits से मेल खाना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।