एक नन्हा GPT train करें, live
यह क्यों मायने रखता है सब कुछ साथ आता है: embeddings, positions, masked multi-head attention, residuals और layer norms, अगले-अक्षर अनुमान पर Adam से train किए। आपके अपने CPU पर, seconds में।
चौड़ाई 32, 2 blocks, 4 heads, 32 अक्षरों का context: लगभग 29,000 parameters। हर एक 16 snippets के 150 steps, एक laptop पर कुछ seconds। Call the Curve: शुरुआत में और 150 steps के बाद loss। (95 अक्षरों पर एकसमान अनुमान ln 95 = 4.55 है।)
फिर उससे sample करें। 150 steps के बाद यह मोटे तौर पर सही जगहों पर spaces के साथ अक्षरों का घोल बनाता है; दर्ज चौड़ाई-64 model, 2,000 steps train किया, शब्द-आकार का text लिखता है। वही code, ज़्यादा compute।
इस पाठ के शब्द और चिह्न
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
- head
- अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
- layer norm
- हर vector को अपने आप normalise करें: औसत 0, फैलाव 1, फिर गुणा g जमा b
my_guess भरें, फिर corpus.TEXT पर model.train (150 steps, learning rate 0.003, batch 16) से train करें और इतिहास hist में रखें। call है hist = model.train(text, steps=..., lr=..., batch=...); यह एक dictionary लौटाता है जिसका hist['loss'] हर 20 steps (और आख़िरी step पर) log किया training loss है, और model.generate(prompt, n, temperature) बाद में text लिखता है। (help(model.train) भी यह print करता है।) आख़िरी 5 log किए losses का औसत 2.85 से नीचे होना चाहिए।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।