سرفصل‌ها درس 35 از 246 · ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز
ماژول 2: ریاضی و احتمال، فقط به اندازهٔ نیاز

آنتروپی متقاطع همان درست‌نمایی در لباس مبدل است

چرا مهم است طبقه‌بندها با زیانی به نام آنتروپی متقاطع آموزش داده می‌شوند. تازه به نظر می‌رسد، اما همان ایدهٔ درست‌نمایی دو درس قبل است.

اعداد کوچک

مدلی می‌گوید احتمال‌های رقم‌های 0، 1 و 2 برابر [0.665, 0.245, 0.090] است. رقم واقعی 0 است. مدل حقیقت را چقدر محتمل دانست؟ 0.665. در بیشینهٔ درست‌نمایی می‌خواهیم آن عدد بزرگ باشد؛ به‌عنوان زیان چیزی کوچک می‌خواهیم، پس منفی لگاریتمش را می‌گیریم: -log(0.665) = 0.408.

اگر رقم واقعی 2 بود، زیان -log(0.090) = 2.41 می‌شد: مدل به حقیقت فقط 9% داد، پس سخت جریمه می‌شود. یک پیش‌بینی بی‌نقص (احتمال 1) زیان 0 دارد.

زیان آنتروپی متقاطع: منفی لگاریتم احتمالی که مدل به پاسخ واقعی داد، میانگین‌گیری‌شده روی نمونه‌ها. دقیقاً همان منفی لگاریتم درست‌نمایی است.

برداشتن یک درایه از هر ردیف

با یک دسته، برای هر ردیف احتمالی را در ستون واقعی همان ردیف لازم دارید. NumPy این کار را با دو آرایهٔ نمایه با طول یکسان انجام می‌دهد: probs[rows, cols] درایه‌های probs[rows[0], cols[0]]، probs[rows[1], cols[1]] و همین‌طور ادامه را برمی‌دارد. با probs = [[0.7, 0.3], [0.2, 0.8]] و برچسب‌های [0, 1]، probs[np.arange(2), labels] نتیجهٔ [0.7, 0.8] را می‌دهد: ردیف 0 ستون 0، سپس ردیف 1 ستون 1. این نمایه‌گذاری پیشرفته (fancy indexing) نام دارد.

یک نشانهٔ مفید: مدلی که به‌طور یکنواخت روی 10 کلاس حدس می‌زند به هر کدام 0.1 می‌دهد، پس زیانش -log(0.1) = 2.30 است. یک طبقه‌بند تازه نزدیک آنجا شروع می‌کند.

خلاصه زیان = -log(احتمال داده‌شده به حقیقت).

واژه‌ها و نمادهای این درس
درست‌نمایی
اینکه دادهٔ دیده‌شده تحت یک تنظیم مدل چقدر محتمل است
آنتروپی متقاطع
منفی لگاریتم احتمالی که به پاسخ درست داده شده
نوبت شما

cross_entropy(probs, labels) را بنویسید: probs یک (batch, classes) از احتمال‌هاست، labels کلاس واقعی هر ردیف را دارد؛ میانگین -log(احتمال کلاس واقعی) را برگردانید. بدون حلقه. سپس uniform_10_loss را برابر زیان یک حدس یکنواخت روی 10 کلاس قرار دهید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.