पाठ्यक्रम 246 में से पाठ 153 · Module 13: Attention और transformers
Module 13: Attention और transformers

एक नन्हा GPT train करें, live

यह क्यों मायने रखता है सब कुछ साथ आता है: embeddings, positions, masked multi-head attention, residuals और layer norms, अगले-अक्षर अनुमान पर Adam से train किए। आपके अपने CPU पर, seconds में।

चौड़ाई 32, 2 blocks, 4 heads, 32 अक्षरों का context: लगभग 29,000 parameters। हर एक 16 snippets के 150 steps, एक laptop पर कुछ seconds। Call the Curve: शुरुआत में और 150 steps के बाद loss। (95 अक्षरों पर एकसमान अनुमान ln 95 = 4.55 है।)

फिर उससे sample करें। 150 steps के बाद यह मोटे तौर पर सही जगहों पर spaces के साथ अक्षरों का घोल बनाता है; दर्ज चौड़ाई-64 model, 2,000 steps train किया, शब्द-आकार का text लिखता है। वही code, ज़्यादा compute।

इस पाठ के शब्द और चिह्न
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
head
अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
layer norm
हर vector को अपने आप normalise करें: औसत 0, फैलाव 1, फिर गुणा g जमा b
आपकी बारी

my_guess भरें, फिर corpus.TEXT पर model.train (150 steps, learning rate 0.003, batch 16) से train करें और इतिहास hist में रखें। call है hist = model.train(text, steps=..., lr=..., batch=...); यह एक dictionary लौटाता है जिसका hist['loss'] हर 20 steps (और आख़िरी step पर) log किया training loss है, और model.generate(prompt, n, temperature) बाद में text लिखता है। (help(model.train) भी यह print करता है।) आख़िरी 5 log किए losses का औसत 2.85 से नीचे होना चाहिए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।