d के square root से भाग क्यों
यह क्यों मायने रखता है हर transformer अपने attention अंकों को key आकार के square root से भाग देता है। इसे छोड़ें और attention मिलाना बंद करता है और उसके gradients लगभग ग़ायब हो जाते हैं। आप मापेंगे क्यों।
लंबाई d के दो बेतरतीब vectors का dot product d गुणनफल जोड़ता है। हर एक का फैलाव लगभग 1 है, इसलिए जोड़ का फैलाव लगभग d का square root है। कारण: जब आप स्वतंत्र बेतरतीब संख्याएँ जोड़ते हैं, उनके फैलाव नहीं जुड़ते, उनके वर्ग जुड़ते हैं (वर्गों को variances कहते हैं)। d गुणनफल, हर एक variance 1 के साथ, variance d देते हैं, इसलिए फैलाव d का square root है। d = 64 के लिए वह 8 है।
plus और minus 8 या ज़्यादा पर फैले अंक softmax को लगभग one-hot बनाते हैं: एक weight 1 के पास, बाकी 0 के पास। एक one-hot softmax के नन्हे gradients होते हैं: हर output की अपने ही अंक के सापेक्ष ढलान p(1 - p) है, जो 0 के पास है जब p 0 या 1 के पास हो (Module 2 का softmax-gradient पाठ इसे निकालता है, और इस module का attention-से-backward पाठ इसे इस्तेमाल करता है), इसलिए model धीरे सीखता है। d के square root से भाग देना फैलाव को वापस लगभग 1 पर लाता है, d जो भी हो।
अनुमान लगाएँ: जैसे d 4 से 256 तक बढ़ता है, सबसे बड़े weight का क्या होता है, भाग के साथ और बिना?
इस पाठ के शब्द और चिह्न
- query, key, value
- एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
my_guess भरें। फिर top_weight(d, scaled) लिखें: 32 बेतरतीब keys के विरुद्ध 2,000 बेतरतीब queries (normal संख्याएँ, seed 0), सबसे बड़े softmax weight का औसत। measured भरें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।