سرفصل‌ها درس 130 از 250 · مهندسی سریع برای مهندسان هوش مصنوعی
مهندسی سریع برای مهندسان هوش مصنوعی

ارزیابی ورودی‌ها (دقت روی مجموعه طلایی)

«پرامپت جدید بهتر به نظر می‌رسد» پاسخ نیست. برای دانستن، شما یک ... نگه می‌دارید. مجموعه طلاییورودی‌ها را با خروجی‌های درستی که به آن‌ها اعتماد دارید جفت کنید. پرس‌وجو را روی ورودی‌ها اجرا کنید، هر پیش‌بینی را با پاسخ مرجع (gold answer) مقایسه کنید و یک عدد گزارش دهید. آن عدد نشان می‌دهد چگونه بدون فریب دادن خودتان، نسخهٔ ۱ پرس‌وجو را با نسخهٔ ۲ مقایسه می‌کنید.

شما امتیازدهنده را خواهید ساخت. score_prediction(pred, gold) بازگشت‌ها 1.0 برای یک مسابقه و 0.0 در غیر این صورت، مقایسه بدون حساسیت به حروف بزرگ و کوچک و با نادیده گرفتن فضای خالی اطراف، زیرا "Yes", "yes"و " yes " در عمل همهٔ آن‌ها یک پاسخ یکسان هستند.

evaluate(predictions, golds) این دو لیست را به‌طور هماهنگ پیش می‌برد، برای هر جفت امتیاز می‌گذارد و یک خلاصه بازمی‌گرداند:

evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}

گرد accuracy تا ۴ مکان. بسازید مجموعهٔ خالی ایمن: بازده طلای صفر {"accuracy": 0.0, "correct": 0, "total": 0} به جای تقسیم بر صفر، زیرا لیست‌های ارزیابی (eval) فیلتر می‌شوند و شما نمی‌خواهید که هارنس روی یک برش خالی از کار بیفتد.

یکی از آزمون‌های پنهان، اجرا می‌شود. evaluate روی ۵۰ مجموعه پیش‌بینی/طلا به‌طور تصادفی تولیدشده و آن را با مرجعی که در آزمون محاسبه شده مقایسه می‌کند. یک جدول جستجوی موارد قابل مشاهده از عهدهٔ این کار برنمی‌آید، و این دقیقاً نکته است: شما در حال ساختن یک امتیازدهندهٔ واقعی هستید، نه حفظ پاسخ‌ها. فشار دهید دوندن برای نمره‌دهی

نوبت شما

نوشتن score_prediction(pred, gold) بازگشت 1.0 اگر دو مورد بدون در نظر گرفتن حروف بزرگ/کوچک و فاصله‌های اطراف با هم مطابقت داشتند، در غیر این صورت 0.0. بنویسید evaluate(predictions, golds) بازگشت {"accuracy", "correct", "total"} روی لیست‌های جفتی، با دقت گردشده به ۴ رقم و یک مجموعهٔ خالی که همهٔ صفرها را برمی‌گرداند (بدون کرش).

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.