पाठ्यक्रम 246 में से पाठ 233 · Module 22: दावों को परखना
Module 22: दावों को परखना

हर "क्या यह असली है" जाँच के पीछे एक नियम

यह क्यों मायने रखता है इस कोर्स ने अंतरों को कम से कम चार तरीकों से परखा है: एक paired interval (Module 9), "0.1 ऊँचा और हर seed पर ऊँचा" (Modules 16 और 17), और 2 standard errors (यह module)। वे सब एक ही विचार हैं, और इसे जानना आपको सही वाला चुनने देता है, और यह जानने देता है कि कब एक बहुत उदार है।

हर नियम एक अंतर की उसके शोर से तुलना करता है। दो चुनाव जवाब बदलते हैं:

  • Paired या नहीं। जब दोनों models एक ही items पर अंक पाएँ (Module 9 की test तस्वीरें), पहले item दर item घटाएँ: हर item कितना कठिन है वह कट जाता है, शोर सिकुड़ता है, और छोटे असली अंतर दिखते हैं। एक ही items पर दो classifiers के लिए, सबसे साफ़ गिनती बस वे items हैं जहाँ वे असहमत हैं (McNemar की परख)। अलग runs के seeds paired नहीं: दोनों समूहों की पूरे के रूप में तुलना करें।
  • cutoff कितना सख़्त है। 2 standard errors मानता है कि आप शोर जानते हैं। हर ओर 3 seeds के साथ आपने उसे हर एक की 3 संख्याओं से अनुमानित किया, और वह अनुमान आसानी से बहुत छोटा हो सकता है। Student का t इसका हिसाब रखता है: cutoff stats.t.ppf(0.975, df) standard errors बनता है, जहाँ df (degrees of freedom) Welch के सूत्र से आता है, df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1)) के साथ va = var(a) / na। हर ओर 3 seeds के साथ df 2 से 4 है, और cutoff 2.8 से 4.3, 2 नहीं।

पहले अनुमान लगाएँ: दर्ज grid पर, क्या सख़्त cutoff कभी 2 standard error नियम का एक "shown" पलटता है?

इस पाठ के शब्द और चिह्न
seed
वह संख्या जो एक run के बेतरतीब चुनाव तय करती है; दूसरा seed दूसरा नतीजा देता है
standard error
अगर seeds फिर चलाए जाएँ तो एक मापा अंतर कितना हिलेगा
आपकी बारी

my_guess को "yes" या "no" पर सेट करें। seed losses की दो सूचियों के लिए (diff, se, df) लौटाने वाला welch(a, b) लिखें (diff = mean(a) - mean(b): धनात्मक जब b, बड़ा model, बेहतर हो)। फिर, CASES के हर मामले के लिए, result[case] को एक dict से भरें: 'ratio' (diff / se), 'cutoff' (t cutoff), 'two_se' और 't' (हर नियम से "shown" या "not shown")। disagree को उन मामलों की सूची पर सेट करें जहाँ दोनों नियम अलग हैं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।