पाठ्यक्रम 246 में से पाठ 107 · Module 9: क्या यह सचमुच बेहतर है?
Module 9: क्या यह सचमुच बेहतर है?

क्या 80% पक्का का मतलब 80% समय सही है?

यह क्यों मायने रखता है एक model का आत्मविश्वास बस तभी काम का है जब वह ईमानदार हो। एक डॉक्टर का assistant जो "90% पक्का" कहे और आधे समय सही हो ख़तरनाक है।

एक model calibrated है अगर, उसके लगभग 80% आत्मविश्वास से किए सारे अनुमानों में से, लगभग 80% सही हों। जाँचने के लिए: अनुमानों को आत्मविश्वास से bins में छाँटें (0 से 0.1, 0.1 से 0.2, वग़ैरह); हर bin में औसत आत्मविश्वास की असली accuracy से तुलना करें। एक को दूसरे के मुक़ाबले plot करना एक reliability diagram है; परफ़ेक्ट calibration विकर्ण है।

Expected calibration error (ECE) हर bin का अंतर जोड़ता है, उसमें गिरे अनुमानों की संख्या से तौला: sum over bins of (count / total) * |accuracy - confidence|।

छोटी संख्याएँ

0.9 आत्मविश्वास पर चार अनुमान, जिनमें से 2 सही: उस bin का अंतर |0.5 - 0.9| = 0.4 है। अगर वे सारे अनुमान हैं, तो ECE = 0.4।

इस पाठ के शब्द और चिह्न
calibration, ECE
क्या आत्मविश्वास accuracy से मेल खाता है; तौला औसत अंतर
आपकी बारी

0 से 1 तक बराबर चौड़ाई के bins के साथ ece(confidence, correct, bins=10) लिखें (ठीक 1.0 का आत्मविश्वास शीर्ष bin में जाता है; ख़ाली bins छोड़ें)।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।