दो models की उचित तुलना
यह क्यों मायने रखता है पाठ 1 पर वापस। यह तय करने का सही तरीका है।
दोनों models ने वही 100 items के जवाब दिए। इसलिए हर अंक पर अलग से error bars न लगाएँ; अंतर पर एक लगाएँ, items को जोड़ों के रूप में फिर नमूना लेते हुए। हर नमूना वापस रखते हुए 100 items चुनता है और उन्हीं items पर B की accuracy घटा A की निकालता है। अगर उस अंतर के 95% interval में 0 शामिल है, तो डेटा models को अलग नहीं बता सकता।
Paired तुलना: एक ही test set पर दो models की item दर item तुलना, जो हर item की कठिनाई काट देती है।
पाठ 1 की 100 तस्वीरें कैसे चुनी गईं, ईमानदारी से: पढ़ने वाले simulate किए गए हैं, और कोर्स ने 100 तस्वीरों का एक ऐसा draw चुना जिस पर संयोग से A B से 4 अंक आगे है। 100 तस्वीरों के 2,000 बेतरतीब draws में, A बस 8% समय 4 या ज़्यादा अंक आगे रहा; उनमें से आधे में B आगे निकला, और 14% बराबर थे। यह असली तरह की क़िस्मत है, मुद्दा बनाने के लिए चुनी: 100 का एक अकेला test set ग़लत दिशा में इशारा कर सकता है।
इस पाठ के शब्द और चिह्न
- bootstrap
- यह देखने के लिए कि एक अंक कितना डगमगाता है, अपने test set का दोहराव के साथ फिर से नमूना लेना
- 95% interval
- फिर से लिए अंकों का बीच का 95%
- paired तुलना
- एक ही items पर दो models की तुलना, item दर item
paired_diff_ci(a, b, n=2000, seed=0) (B घटा A का interval, bootstrap पाठ की तरह item indices फिर से लेते हुए) और "A", "B" या "no clear difference" लौटाने वाला verdict(a, b) लिखें। इसे पाठ 1 के models पर चलाएँ।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।