سرفصل‌ها درس 107 از 246 · ماژول 9: آیا واقعاً بهتر است؟
ماژول 9: آیا واقعاً بهتر است؟

آیا 80% مطمئن یعنی 80% مواقع درست؟

چرا مهم است اطمینان یک مدل فقط وقتی مفید است که صادقانه باشد. دستیار پزشکی که می‌گوید «90% مطمئنم» و نیمی از مواقع درست است خطرناک است.

یک مدل وقتی کالیبره است که از میان همهٔ پیش‌بینی‌هایی که با حدود 80% اطمینان انجام می‌دهد، حدود 80% درست باشند. برای بررسی: پیش‌بینی‌ها را بر اساس اطمینان در سطل‌هایی مرتب کنید (0 تا 0.1، 0.1 تا 0.2 و همین‌طور ادامه)؛ در هر سطل میانگین اطمینان را با درستی واقعی مقایسه کنید. رسم یکی در برابر دیگری یک نمودار قابلیت اطمینان است؛ کالیبراسیون بی‌نقص همان قطر است.

خطای کالیبراسیون مورد انتظار (ECE) فاصلهٔ هر سطل را، وزن‌دهی‌شده با تعداد پیش‌بینی‌هایی که در آن افتاده‌اند، جمع می‌زند: sum over bins of (count / total) * |accuracy - confidence|.

اعداد کوچک

چهار پیش‌بینی با اطمینان 0.9، که 2 تایشان درست‌اند: فاصلهٔ آن سطل |0.5 - 0.9| = 0.4 است. اگر همهٔ پیش‌بینی‌ها همین‌ها باشند، ECE = 0.4.

واژه‌ها و نمادهای این درس
کالیبراسیون، ECE
اینکه اطمینان با دقت جور است یا نه؛ میانگین وزنی فاصله
نوبت شما

ece(confidence, correct, bins=10) را با سطل‌هایی با پهنای برابر از 0 تا 1 بنویسید (اطمینان دقیقاً 1.0 در سطل بالایی می‌رود؛ سطل‌های خالی را رد کنید).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.