एक transformer block, हाथ से
यह क्यों मायने रखता है एक GPT वही block ढेर किया है। सादे NumPy से एक लिखें, उसे दर्ज model के असली weights से चलाएँ, और अगर आपकी संख्याएँ model की अपनी से मेल खाएँ, तो आप एक transformer की हर line समझते हैं।
इसे देखें
animation चलाएँ। एक block h (t स्थितियाँ गुणा d) लेता है और दो चीज़ें करता है, हर एक h पर वापस जोड़ी (Module 6 का residual रास्ता):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
दर्ज model के नाम: qkv{l} Wq, Wk और Wv को अगल-बगल रखता है (d गुणा 3d), o{l} Wo है, g1{l}, b1{l} और g2{l}, b2{l} दो layer norms हैं, w1{l}, w2{l} feed-forward। Head h Q, K और V में से हर एक के columns h गुणा 16 से (h + 1) गुणा 16 तक इस्तेमाल करता है।
इस पाठ के शब्द और चिह्न
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
- head
- अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
- layer norm
- हर vector को अपने आप normalise करें: औसत 0, फैलाव 1, फिर गुणा g जमा b
- transformer block
- h + attention(norm(h)), फिर h + feed-forward(norm(h))
एक sequence (h t गुणा d है) के लिए block(h, l) लिखें। पूरा model आपके लिए जोड़ा गया है; उसके logits को model.logits से मेल खाना होगा।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।