سرفصل‌ها درس 37 از 246 · ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز
ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز

دو حدس چقدر متفاوت‌اند (واگرایی KL)

چرا مهم است بعداً یک توزیع را به سوی دیگری هل می‌دهید: یک مولد به سوی دادهٔ واقعی، یک مدل کوچک به سوی یک مدل بزرگ. واگرایی KL این فاصله را می‌سنجد.

اعداد کوچک

حقیقت P = [0.5, 0.5]، یک حدس Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. جایشان را عوض کنید: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. اعداد متفاوت: KL متقارن نیست، پس ترتیب مهم است.

واگرایی KL: شگفتی اضافه‌ای که به‌طور میانگین با استفاده از Q وقتی حقیقت P است متحمل می‌شوید. فقط وقتی یکسان‌اند 0 است و هرگز منفی نیست.

برای دو منحنی زنگوله‌ای یک فرمول دقیق هست که ماژول 15 برای مدل‌های مولدش به کار می‌برد: KL میان N(m1, s1) و N(m2, s2) برابر log(s2/s1) + (s1 به توان دو + (m1 - m2) به توان دو) / (2 s2 به توان دو) - 1/2 است.

خلاصه یک سنجهٔ فاصله، وقتی برابرند صفر، و ترتیب مهم است.

واژه‌ها و نمادهای این درس
KL(P || Q)
اینکه دو توزیع چقدر متفاوت‌اند؛ فقط وقتی جورند صفر است؛ ترتیب مهم است
نوبت شما

kl(p, q) را برای دو احتمال داده‌شده به‌صورت فهرست یا آرایه بنویسید (آزمون‌ها فهرست‌های ساده می‌دهند، پس اول آن‌ها را به آرایه تبدیل کنید)، و kl_gauss(m1, s1, m2, s2) را با فرمول بالا.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.