पाठ्यक्रम 246 में से पाठ 37 · Module 2: गणित और probability, बस ज़रूरत भर
Module 2: गणित और probability, बस ज़रूरत भर

दो अनुमान कितने अलग हैं (KL divergence)

यह क्यों मायने रखता है बाद में आप एक distribution को दूसरे की ओर धकेलेंगे: एक generator को असली data की ओर, एक छोटे model को एक बड़े की ओर। KL divergence अंतर मापता है।

छोटी संख्याएँ

सच P = [0.5, 0.5], एक अनुमान Q = [0.9, 0.1]। KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511। उन्हें अदल-बदल करें: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368। अलग संख्याएँ: KL सममित नहीं, इसलिए क्रम मायने रखता है।

KL divergence: जब सच P हो तब Q इस्तेमाल करने से, औसतन, आप जो अतिरिक्त आश्चर्य झेलते हैं। यह बस तब 0 है जब वे एक जैसे हों, और कभी ऋणात्मक नहीं।

दो घंटी वक्रों के लिए एक ठीक सूत्र है, जो Module 15 अपने generative models के लिए इस्तेमाल करता है: N(m1, s1) और N(m2, s2) के बीच KL है log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2।

सार एक अंतर माप, बराबर होने पर शून्य, और क्रम मायने रखता है।

इस पाठ के शब्द और चिह्न
KL(P || Q)
दो distributions कितने अलग हैं; बस मेल खाने पर शून्य; क्रम मायने रखता है
आपकी बारी

सूचियों या arrays के रूप में दी दो probabilities के लिए kl(p, q) लिखें (tests सादी सूचियाँ देते हैं, इसलिए पहले उन्हें arrays में बदलें), और ऊपर के सूत्र से kl_gauss(m1, s1, m2, s2)।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।