पाठ्यक्रम 246 में से पाठ 109 · Module 9: क्या यह सचमुच बेहतर है?
Module 9: क्या यह सचमुच बेहतर है?

दो models की उचित तुलना

यह क्यों मायने रखता है पाठ 1 पर वापस। यह तय करने का सही तरीका है।

दोनों models ने वही 100 items के जवाब दिए। इसलिए हर अंक पर अलग से error bars न लगाएँ; अंतर पर एक लगाएँ, items को जोड़ों के रूप में फिर नमूना लेते हुए। हर नमूना वापस रखते हुए 100 items चुनता है और उन्हीं items पर B की accuracy घटा A की निकालता है। अगर उस अंतर के 95% interval में 0 शामिल है, तो डेटा models को अलग नहीं बता सकता।

Paired तुलना: एक ही test set पर दो models की item दर item तुलना, जो हर item की कठिनाई काट देती है।

पाठ 1 की 100 तस्वीरें कैसे चुनी गईं, ईमानदारी से: पढ़ने वाले simulate किए गए हैं, और कोर्स ने 100 तस्वीरों का एक ऐसा draw चुना जिस पर संयोग से A B से 4 अंक आगे है। 100 तस्वीरों के 2,000 बेतरतीब draws में, A बस 8% समय 4 या ज़्यादा अंक आगे रहा; उनमें से आधे में B आगे निकला, और 14% बराबर थे। यह असली तरह की क़िस्मत है, मुद्दा बनाने के लिए चुनी: 100 का एक अकेला test set ग़लत दिशा में इशारा कर सकता है।

इस पाठ के शब्द और चिह्न
bootstrap
यह देखने के लिए कि एक अंक कितना डगमगाता है, अपने test set का दोहराव के साथ फिर से नमूना लेना
95% interval
फिर से लिए अंकों का बीच का 95%
paired तुलना
एक ही items पर दो models की तुलना, item दर item
आपकी बारी

paired_diff_ci(a, b, n=2000, seed=0) (B घटा A का interval, bootstrap पाठ की तरह item indices फिर से लेते हुए) और "A", "B" या "no clear difference" लौटाने वाला verdict(a, b) लिखें। इसे पाठ 1 के models पर चलाएँ।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।