المنهج الدراسي الدرس 37 من 246 · الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط
الوحدة 2: الرياضيات والاحتمالات، حسب الحاجة فقط

ما مدى اختلاف تقديرين (KL divergence)

لماذا هذا مهم لاحقاً ستقوم بدفع توزيع نحو توزيع آخر: مولد نحو بيانات حقيقية، أو نموذج صغير نحو نموذج كبير. يقيس KL divergence الفجوة.

أرقام صغيرة

الحقيقة P = [0.5, 0.5]، وتخمين Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. اعكسهما: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. أرقام مختلفة: KL ليس متماثلاً، لذا الترتيب مهم.

KL divergence: المفاجأة الإضافية التي تعاني منها، في المتوسط، عند استخدام Q بينما الحقيقة هي P. تكون قيمتها 0 فقط عندما يكونان متطابقين، ولا تكون سالبة أبدا.

بالنسبة لمنحنيين جرسيين هناك صيغة دقيقة، والتي يستخدمها Module 15 لنماذجه التوليدية: قيمة KL بين N(m1, s1) و N(m2, s2) هي log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2.

خلاصة قياس فجوة، يكون صفراً عند التساوي، والترتيب مهم.

الكلمات والرموز في هذا الدرس
KL(P || Q)
مدى اختلاف توزيعين؛ صفر فقط عندما يتطابقان؛ الترتيب مهم
دورك

اكتب kl(p, q) لاحتمالين معطيين كقوائم أو مصفوفات (تنجح الاختبارات مع القوائم العادية، لذا حولها إلى arrays أولا)، وkl_gauss(m1, s1, m2, s2) باستخدام الصيغة أعلاه.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.