क्या 80% पक्का का मतलब 80% समय सही है?
यह क्यों मायने रखता है एक model का आत्मविश्वास बस तभी काम का है जब वह ईमानदार हो। एक डॉक्टर का assistant जो "90% पक्का" कहे और आधे समय सही हो ख़तरनाक है।
एक model calibrated है अगर, उसके लगभग 80% आत्मविश्वास से किए सारे अनुमानों में से, लगभग 80% सही हों। जाँचने के लिए: अनुमानों को आत्मविश्वास से bins में छाँटें (0 से 0.1, 0.1 से 0.2, वग़ैरह); हर bin में औसत आत्मविश्वास की असली accuracy से तुलना करें। एक को दूसरे के मुक़ाबले plot करना एक reliability diagram है; परफ़ेक्ट calibration विकर्ण है।
Expected calibration error (ECE) हर bin का अंतर जोड़ता है, उसमें गिरे अनुमानों की संख्या से तौला: sum over bins of (count / total) * |accuracy - confidence|।
छोटी संख्याएँ
0.9 आत्मविश्वास पर चार अनुमान, जिनमें से 2 सही: उस bin का अंतर |0.5 - 0.9| = 0.4 है। अगर वे सारे अनुमान हैं, तो ECE = 0.4।
इस पाठ के शब्द और चिह्न
- calibration, ECE
- क्या आत्मविश्वास accuracy से मेल खाता है; तौला औसत अंतर
0 से 1 तक बराबर चौड़ाई के bins के साथ ece(confidence, correct, bins=10) लिखें (ठीक 1.0 का आत्मविश्वास शीर्ष bin में जाता है; ख़ाली bins छोड़ें)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।