पाठ्यक्रम 246 में से पाठ 235 · Module 22: दावों को परखना
Module 22: दावों को परखना

Gate: एक दावे की समीक्षा करें (AI बंद)

यह क्यों मायने रखता है नतीजों को आलोचनात्मक ढंग से पढ़ना एक कौशल है जो आप हर paper, model card और benchmark table पर इस्तेमाल करेंगे। नियम सादे हैं; उन्हें हर बार लागू करना, बिना बताए कि कौन-सा मायने रखता है, कौशल है।

Gate नियम: AI tutor बंद। review(claim) लिखें। एक दावा कहता है "model A model B को हराता है" और हर model के हर seed के loss और training डेटा में मिले test set के हिस्से के साथ आता है। क्रम में:

  1. अगर test set का 10% से ज़्यादा training डेटा में था, तो "leaked" लौटाएँ: उस पर किसी अंक पर भरोसा नहीं किया जा सकता।
  2. अगर किसी model के 2 से कम seeds हैं, तो "not shown" लौटाएँ: फैलाव अनजान है।
  3. diff = mean(B) - mean(A) (धनात्मक जब A बेहतर हो) और se = sqrt(var(A) / nA + var(B) / nB) लें, नमूना variances (ddof=1)। अगर diff > 2 se तो "shown" लौटाएँ, अगर diff < -2 se तो "contradicted", नहीं तो "not shown"।

जाँच आपका function छह नए दावों पर चलाती है, हर जाँच पर अलग, किनारे के मामलों समेत: एक seed, ठीक 10% overlap, seeds जो ठीक सहमत हैं।

इस पाठ के शब्द और चिह्न
contamination (रिसाव)
test items जो training डेटा में भी थे
seed
वह संख्या जो एक run के बेतरतीब चुनाव तय करती है; दूसरा seed दूसरा नतीजा देता है
आपकी बारी

review भरें। इसे {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} पर आज़माएँ (1.5 million tokens पर दर्ज चौड़ाइयाँ 1024 और 512)।

AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।