causal mask: कोई झाँकना नहीं
यह क्यों मायने रखता है अगले अक्षर का अनुमान लगाने के लिए train किए model को अगला अक्षर नहीं देखना चाहिए। mask के बिना यह बस जवाब copy कर सकता है, training में बढ़िया दिख सकता है, और फिर बनाते समय विफल हो सकता है, क्योंकि बनाने के समय भविष्य अभी मौजूद नहीं।
इसे देखें
animation चलाएँ। स्थिति i बस स्थितियों 0 से i पर ध्यान दे सकती है। softmax से पहले, विकर्ण से ऊपर का हर अंक minus infinity पर सेट होता है, इसलिए उसका weight ठीक 0 बनता है। weights तब एक निचला त्रिकोण बनाते हैं।
रिसाव की परीक्षा सीधी है: स्थिति j पर एक अक्षर बदलें, और j से पहले की स्थितियों के लिए model जो भी निकालता है उसमें कुछ नहीं बदलना चाहिए।
जब कोर्स ने mask के बिना एक चौड़ाई-32 GPT 1,200 steps train किया, उसका training loss 0.10 तक गिरा, mask के साथ 1.51 के मुक़ाबले: इसने अगली स्थिति से जवाब copy करना सीखा था, लगभग सटीक। ईमानदारी से मापा, अनदेखे text पर और उसे आगे देखने दिए बिना, उसका loss 2.3 के मुक़ाबले 8.6 था। कम संख्या एक झूठ थी: model बहुत बदतर था। (शुरू में, 400 steps पर, दोनों runs अब भी एक जैसे दिखते थे, 2.24 के मुक़ाबले 2.28। copy करना खोजने में समय लगता है, और फिर यह हावी हो जाता है।)
इस पाठ के शब्द और चिह्न
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
- causal mask
- विकर्ण से ऊपर के अंक minus infinity पर सेट: कोई स्थिति भविष्य नहीं देखती
- head
- अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
पाठ 4 की तरह पर masked causal_attention(X, Wq, Wk, Wv) लिखें। फिर leaks(f): True लौटाएँ अगर एक बेतरतीब X की आख़िरी row बदलना f के output की किसी पहले की row को बदलता है। यहाँ f कोई भी attention function है जो आपके की तरह बुलाया जाता है, f(X, Wq, Wk, Wv), (output, weights) लौटाते हुए; leaks के अंदर बेतरतीब X और weights बनाएँ।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।