पाठ्यक्रम 246 में से पाठ 145 · Module 13: Attention और transformers
Module 13: Attention और transformers

causal mask: कोई झाँकना नहीं

यह क्यों मायने रखता है अगले अक्षर का अनुमान लगाने के लिए train किए model को अगला अक्षर नहीं देखना चाहिए। mask के बिना यह बस जवाब copy कर सकता है, training में बढ़िया दिख सकता है, और फिर बनाते समय विफल हो सकता है, क्योंकि बनाने के समय भविष्य अभी मौजूद नहीं।

इसे देखें

animation चलाएँ। स्थिति i बस स्थितियों 0 से i पर ध्यान दे सकती है। softmax से पहले, विकर्ण से ऊपर का हर अंक minus infinity पर सेट होता है, इसलिए उसका weight ठीक 0 बनता है। weights तब एक निचला त्रिकोण बनाते हैं।

रिसाव की परीक्षा सीधी है: स्थिति j पर एक अक्षर बदलें, और j से पहले की स्थितियों के लिए model जो भी निकालता है उसमें कुछ नहीं बदलना चाहिए।

जब कोर्स ने mask के बिना एक चौड़ाई-32 GPT 1,200 steps train किया, उसका training loss 0.10 तक गिरा, mask के साथ 1.51 के मुक़ाबले: इसने अगली स्थिति से जवाब copy करना सीखा था, लगभग सटीक। ईमानदारी से मापा, अनदेखे text पर और उसे आगे देखने दिए बिना, उसका loss 2.3 के मुक़ाबले 8.6 था। कम संख्या एक झूठ थी: model बहुत बदतर था। (शुरू में, 400 steps पर, दोनों runs अब भी एक जैसे दिखते थे, 2.24 के मुक़ाबले 2.28। copy करना खोजने में समय लगता है, और फिर यह हावी हो जाता है।)

इस पाठ के शब्द और चिह्न
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
causal mask
विकर्ण से ऊपर के अंक minus infinity पर सेट: कोई स्थिति भविष्य नहीं देखती
head
अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
आपकी बारी

पाठ 4 की तरह पर masked causal_attention(X, Wq, Wk, Wv) लिखें। फिर leaks(f): True लौटाएँ अगर एक बेतरतीब X की आख़िरी row बदलना f के output की किसी पहले की row को बदलता है। यहाँ f कोई भी attention function है जो आपके की तरह बुलाया जाता है, f(X, Wq, Wk, Wv), (output, weights) लौटाते हुए; leaks के अंदर बेतरतीब X और weights बनाएँ।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।