ارزیابی مدلها: دقت و خطا
یک مدل آموزشدیده تا زمانی که نتوانید بگویید چقدر خوب است، بیفایده است. نمره مناسب بستگی به چیزی دارد که پیشبینی میکنید.
طبقهبندی: دقت
وقتی برچسب یک دستهبندی است (هرزنامه یا نه، گونه A/B/C)، سادهترین نمره، دقت است: کسری از پیشبینیهایی که درست بودهاند.
from sklearn.metrics import accuracy_score
acc = accuracy_score(y_true, y_pred) # e.g. 0.875 means 7 of 8 rightدقت از ۰ تا ۱ متغیر است. اما «خوب» بودن نسبی است. اگر ۹۵ درصد ایمیلها اسپم نباشند، یک مدل سست که همیشه «اسپم نیست» را حدس میزند، در حالی که هیچ اسپمی را شناسایی نمیکند، از قبل نمره ۰.۹۵ میگیرد. قبل از اینکه از عددی خوشحال شوید، همیشه آن را با چنین مبنای سادهای مقایسه کنید.
رگرسیون: خطا
وقتی برچسب یک عدد پیوسته (مانند قیمت یا دما) است، دقت بیمعنی است، زیرا تقریباً هرگز نمیتوانید مقدار دقیق را پیشبینی کنید. در عوض، اندازهگیری میکنید که چقدر با مقدار واقعی فاصله داشتهاید. یک انتخاب رایج، خطای مطلق میانگین است، یعنی میانگین اندازه خطا:
from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred) # in the same units as yخطای مطلق میانگین (MAE) برحسب واحدهای خودِ برچسب است، که خواندن آن را آسان میکند: یک MAE برابر با ۱۲ بر روی قیمت خانهها به هزار واحد، به این معنی است که شما به طور متوسط حدود ۱۲ هزار واحد خطا دارید. هرچه کمتر بهتر است و ۰ عالی است.
شما هر دو را محاسبه خواهید کرد: دقت را از روی پیشبینیهای دادهشده، و MAE را از طریق یک رگرسیون خطی کوچک که روی یک خط کاملاً صاف برازش شده است (بنابراین خطای آن باید اساساً صفر باشد).
بخش ۱: آرایهها y_true و y_pred (هر کدام دارای ۸ برچسب، که دقیقاً در یک نقطه با هم متفاوت هستند) داده شدهاند. مجموعه acc = accuracy_score(y_true, y_pred). بخش ۲: X و target خط y = 2x را توصیف کنید. یک LinearRegression نامگذاریشده reg روی آنها، پیشبینی کنید X در reg_pred، سپس تنظیم کنید mae = mean_absolute_error(target, reg_pred).
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.