Gate: एक टूटा transformer (AI बंद)
यह क्यों मायने रखता है यह घर के engine से लिखा एक पूरा GPT forward pass है, और इसमें दो गड़बड़ियाँ हैं। दोनों क्लासिक हैं, और हर एक ने अकेले असली टीमों को धोखा दिया है।
AI tutor बंद। एक गड़बड़ी model को वे अक्षर देखने देती है जिनका उसे अनुमान लगाना है। दूसरी ढेर को train करना बहुत कठिन बनाती है। दोनों ढूँढें और ठीक करें।
इस पाठ के शब्द और चिह्न
- query, key, value
- एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
- head
- अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
logits ठीक करें। एक अक्षर बदलना पहले की स्थितियों के किसी अनुमान को नहीं बदलना चाहिए, और 200 steps के बाद आख़िरी 20 steps का औसत loss 2.65 से नीचे होना चाहिए।
AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।