एक test set जो model पहले देख चुका
यह क्यों मायने रखता है बड़े models ज़्यादातर सार्वजनिक internet पर train होते हैं, और सार्वजनिक test sets internet पर हैं। जब test items training में रिसते हैं, तो अंक एक ऐसे कारण से बढ़ते हैं जिसका कौशल से कोई लेना-देना नहीं, और उन्हें रिपोर्ट करने वाला paper शायद कभी न जाने।
कोर्स GPT के लिए 120 passages का एक सार्वजनिक test set। इसके लेखक कहते हैं कि यह अलग से लिखा गया। इसका कुछ हिस्सा असल में कोर्स के पाठ टेक्स्ट से copy किया गया, जिस पर GPT train हुआ।
एक मानक जाँच: हर passage को 13-अक्षर के टुकड़ों में काटें और उन्हें training टेक्स्ट में खोजें। अलग से लिखा एक passage संयोग से कम लंबे टुकड़े साझा करता है; एक copy किया सारे साझा करता है। judge.overlap(p) एक passage के उन टुकड़ों का हिस्सा देता है जो training टेक्स्ट में मिले, और judge.losses(model, passages) हर passage पर model का loss।
पहले अनुमान लगाएँ: क्या रिसे passages हटाने से रिपोर्ट किया loss बेहतर होगा या बदतर?
इस पाठ के शब्द और चिह्न
- contamination (रिसाव)
- test items जो training डेटा में भी थे
my_guess को "better" या "worse" पर सेट करें। reported (सारे 120 पर औसत loss), leaked (True/False की एक सूची, overlap 0.5 से ऊपर), clean (न रिसे passages पर औसत loss) और leaked_loss भरें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।