पाठ्यक्रम 246 में से पाठ 158 · Module 13: Attention और transformers
Module 13: Attention और transformers

Gate: एक टूटा transformer (AI बंद)

यह क्यों मायने रखता है यह घर के engine से लिखा एक पूरा GPT forward pass है, और इसमें दो गड़बड़ियाँ हैं। दोनों क्लासिक हैं, और हर एक ने अकेले असली टीमों को धोखा दिया है।

AI tutor बंद। एक गड़बड़ी model को वे अक्षर देखने देती है जिनका उसे अनुमान लगाना है। दूसरी ढेर को train करना बहुत कठिन बनाती है। दोनों ढूँढें और ठीक करें।

इस पाठ के शब्द और चिह्न
query, key, value
एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
head
अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
आपकी बारी

logits ठीक करें। एक अक्षर बदलना पहले की स्थितियों के किसी अनुमान को नहीं बदलना चाहिए, और 200 steps के बाद आख़िरी 20 steps का औसत loss 2.65 से नीचे होना चाहिए।

AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।