ما مدى اختلاف تقديرين (KL divergence)
لماذا هذا مهم لاحقاً ستقوم بدفع توزيع نحو توزيع آخر: مولد نحو بيانات حقيقية، أو نموذج صغير نحو نموذج كبير. يقيس KL divergence الفجوة.
أرقام صغيرة
الحقيقة P = [0.5, 0.5]، وتخمين Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. اعكسهما: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. أرقام مختلفة: KL ليس متماثلاً، لذا الترتيب مهم.
KL divergence: المفاجأة الإضافية التي تعاني منها، في المتوسط، عند استخدام Q بينما الحقيقة هي P. تكون قيمتها 0 فقط عندما يكونان متطابقين، ولا تكون سالبة أبدا.
بالنسبة لمنحنيين جرسيين هناك صيغة دقيقة، والتي يستخدمها Module 15 لنماذجه التوليدية: قيمة KL بين N(m1, s1) و N(m2, s2) هي log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2.
خلاصة قياس فجوة، يكون صفراً عند التساوي، والترتيب مهم.
الكلمات والرموز في هذا الدرس
- KL(P || Q)
- مدى اختلاف توزيعين؛ صفر فقط عندما يتطابقان؛ الترتيب مهم
اكتب kl(p, q) لاحتمالين معطيين كقوائم أو مصفوفات (تنجح الاختبارات مع القوائم العادية، لذا حولها إلى arrays أولا)، وkl_gauss(m1, s1, m2, s2) باستخدام الصيغة أعلاه.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.