آیا 80% مطمئن یعنی 80% مواقع درست؟
چرا مهم است اطمینان یک مدل فقط وقتی مفید است که صادقانه باشد. دستیار پزشکی که میگوید «90% مطمئنم» و نیمی از مواقع درست است خطرناک است.
یک مدل وقتی کالیبره است که از میان همهٔ پیشبینیهایی که با حدود 80% اطمینان انجام میدهد، حدود 80% درست باشند. برای بررسی: پیشبینیها را بر اساس اطمینان در سطلهایی مرتب کنید (0 تا 0.1، 0.1 تا 0.2 و همینطور ادامه)؛ در هر سطل میانگین اطمینان را با درستی واقعی مقایسه کنید. رسم یکی در برابر دیگری یک نمودار قابلیت اطمینان است؛ کالیبراسیون بینقص همان قطر است.
خطای کالیبراسیون مورد انتظار (ECE) فاصلهٔ هر سطل را، وزندهیشده با تعداد پیشبینیهایی که در آن افتادهاند، جمع میزند: sum over bins of (count / total) * |accuracy - confidence|.
اعداد کوچک
چهار پیشبینی با اطمینان 0.9، که 2 تایشان درستاند: فاصلهٔ آن سطل |0.5 - 0.9| = 0.4 است. اگر همهٔ پیشبینیها همینها باشند، ECE = 0.4.
واژهها و نمادهای این درس
- کالیبراسیون، ECE
- اینکه اطمینان با دقت جور است یا نه؛ میانگین وزنی فاصله
ece(confidence, correct, bins=10) را با سطلهایی با پهنای برابر از 0 تا 1 بنویسید (اطمینان دقیقاً 1.0 در سطل بالایی میرود؛ سطلهای خالی را رد کنید).
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.