Gate: एक दावे की समीक्षा करें (AI बंद)
यह क्यों मायने रखता है नतीजों को आलोचनात्मक ढंग से पढ़ना एक कौशल है जो आप हर paper, model card और benchmark table पर इस्तेमाल करेंगे। नियम सादे हैं; उन्हें हर बार लागू करना, बिना बताए कि कौन-सा मायने रखता है, कौशल है।
Gate नियम: AI tutor बंद। review(claim) लिखें। एक दावा कहता है "model A model B को हराता है" और हर model के हर seed के loss और training डेटा में मिले test set के हिस्से के साथ आता है। क्रम में:
- अगर test set का 10% से ज़्यादा training डेटा में था, तो "leaked" लौटाएँ: उस पर किसी अंक पर भरोसा नहीं किया जा सकता।
- अगर किसी model के 2 से कम seeds हैं, तो "not shown" लौटाएँ: फैलाव अनजान है।
- diff = mean(B) - mean(A) (धनात्मक जब A बेहतर हो) और se = sqrt(var(A) / nA + var(B) / nB) लें, नमूना variances (
ddof=1)। अगर diff > 2 se तो "shown" लौटाएँ, अगर diff < -2 se तो "contradicted", नहीं तो "not shown"।
जाँच आपका function छह नए दावों पर चलाती है, हर जाँच पर अलग, किनारे के मामलों समेत: एक seed, ठीक 10% overlap, seeds जो ठीक सहमत हैं।
इस पाठ के शब्द और चिह्न
- contamination (रिसाव)
- test items जो training डेटा में भी थे
- seed
- वह संख्या जो एक run के बेतरतीब चुनाव तय करती है; दूसरा seed दूसरा नतीजा देता है
review भरें। इसे {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} पर आज़माएँ (1.5 million tokens पर दर्ज चौड़ाइयाँ 1024 और 512)।
AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।