سرفصل‌ها درس 152 از 156 · پروژهٔ پایانی: یک پروژه انتخاب کنید
پروژهٔ پایانی: یک پروژه انتخاب کنید

دنیای پنهان چطور به شما نمره می‌دهد

چرا مهم است اگر دقیقاً بدانید چه چیزی بررسی می‌شود، می‌توانید تلاشتان را به‌جای حدس‌زدن روی آن متمرکز کنید. دانستن طرز کار بررسی همچنین به شما می‌گوید چرا منصفانه است: هیچ‌کس نمی‌تواند با کپی‌کردن پاسخ‌ها قبول شود، پس قبولی یعنی واقعاً آن چیز را ساختید.

یک آزمون رانندگی را در نظر بگیرید. در خیابان‌های نزدیک خانه‌تان تمرین می‌کنید تا هر پیچی را بشناسید. در روز آزمون، ممتحن مسیری را انتخاب می‌کند که هرگز در آن نرانده‌اید. قواعد راه همان است، اما خیابان‌ها تازه‌اند، پس تنها راه قبولی این است که واقعاً بتوانید رانندگی کنید.

چند تا از پروژه‌های مرحله‌ای شما دقیقاً همین‌طور نمره گرفتند: آزمایشگاه ردیاب مرحلهٔ 2، گزارش دستگاه مرحلهٔ 5 و مجموعهٔ ردیاب پنهان مرحلهٔ 6 کد شما را روی یک دنیای پنهان با همان قواعد اما سایت‌ها، نام‌ها، ردیاب‌ها و بازدیدکنندگان متفاوت اجرا کردند. وقتی پروژهٔ نمونه‌کارتان را یک گام جلوتر می‌برید، آن گام را به همان شیوه بیازمایید: روی دنیایی که آن را رویش تنظیم نکرده‌اید.

دنیای پنهان: یک دنیای تمرینی که ندیده‌اید، ساخته‌شده با همان مولدی که رویش تمرین کردید، اما از یک بذر متفاوت. فقط برای نمره‌دهی به کار می‌رود.

بذر (seed): عدد آغازین یک مولد تصادفی. همان بذر همیشه همان دنیا را می‌سازد، و یک بذر متفاوت دنیای متفاوتی. این راهی است که نمره‌دهی می‌تواند برای همه منصفانه و در عین حال برای شما تازه باشد.

دو نوع بررسی

  • گزارشی که در برابر یک دنیای پنهان بررسی می‌شود (پروژه‌های مرحلهٔ 2 و مرحلهٔ 5). کد شما به دنیای پنهان نگاه می‌کند و یک گزارش JSON می‌نویسد؛ بررسی آن را با آنچه می‌داند واقعاً آنجاست مقایسه می‌کند.
  • آزمون‌های پنهان (بیشتر آزمایشگاه‌ها، و پروژه‌های مرحله‌های 3، 4، 6 و 7). بررسی تابع‌های شما را با ورودی‌هایی که ندیده‌اید فرا می‌خواند و نتیجه‌ها را بررسی می‌کند.

نوشتهٔ پروژهٔ پایانی شما (درس بعد) با ماشین نمره نمی‌گیرد: بخشی است که به یک انسان نشان می‌دهید. این بررسی‌های خودکار را دربارهٔ چیزهایی نگه می‌دارد که یک ماشین می‌تواند منصفانه دربارهٔ آن‌ها قضاوت کند.

JSON: یک قالب متن ساده برای داده، ساخته‌شده از فهرست‌هایی در کروشه و مقدارهای برچسب‌دار در آکولاد. یک dict و list در Python تقریباً یک به یک به JSON تبدیل می‌شوند.

یک بررسی گزارش چه شکلی است

یک گزارش فقط یافته‌های ساختاریافته است. اگر پروژهٔ مرحلهٔ 3 را یک گام جلوتر به یک ممیزی کامل از یک فروشگاه تمرینی ببرید، یک گزارش می‌تواند این شکلی باشد:

{
  "site": "shopa.example",
  "third_parties": ["adco.example", "cdn.example"],
  "trackers": ["adco.example"],
  "cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
  "csp_present": false
}

ارزیاب چند پرسش ساده دربارهٔ آن می‌پرسد. آیا JSON معتبر است؟ آیا فیلدهای لازم، با نوع‌های درست، هستند؟ و برای هر یافته: آیا واقعاً در دنیای پنهان هست؟

درست‌ها، ازدست‌رفته‌ها و هشدارهای نادرست

یک هشداردهندهٔ دود می‌تواند به دو شکل متفاوت درست یا نادرست باشد. می‌تواند در یک آتش‌سوزی واقعی ساکت بماند (یک ازدست‌رفته)، یا وقتی فقط نان برشته کردید به صدا درآید (یک هشدار نادرست). یک هشداردهندهٔ خوب هر دو را کم نگه می‌دارد. یافته‌های شما هم همین‌طور سنجیده می‌شوند.

مثبت درست: چیزی را گزارش دادید و واقعاً آنجاست. مثبت کاذب: چیزی را گزارش دادید که آنجا نیست (یک هشدار نادرست). منفی کاذب: چیزی آنجاست و گزارشش ندادید (یک ازدست‌رفته).

فرض کنید مسدودکنندهٔ شما، روی دنیای پنهان، 20 درخواست ردیاب و 80 درخواست معمولی می‌بیند. 19 ردیاب را مسدود می‌کند و همچنین، به اشتباه، 1 درخواست معمولی را که یک صفحه لازم داشت. این یعنی 19 درست، 1 ازدست‌رفته و 1 هشدار نادرست. در مرحلهٔ 2 شمارش‌هایی مثل این‌ها را به دقت (چه تعداد از چیزهایی که مسدود کردید واقعاً ردیاب بودند) و بازیابی (چه تعداد از ردیاب‌های واقعی را گرفتید) تبدیل کردید.

یک قاعدهٔ قبولی برای یک پروژه ممکن است مثل قاعدهٔ برنامهٔ دوره باشد: «دست‌کم 95% از درخواست‌های ردیاب را مسدود کرد، بدون مثبت کاذب». اینجا 19 از 20 دقیقاً 95% است، اما همان یک درخواستی که به اشتباه مسدود شد همچنان باعث رد شدن است. در ابزارهای حریم خصوصی هر دو اشتباه مهم‌اند: یک ازدست‌رفته ردیابی را رد می‌کند، و یک هشدار نادرست صفحه را می‌شکند و به آدم‌ها یاد می‌دهد ابزار را خاموش کنند.

کد یکسان، نمرهٔ یکسان

نمره‌دهی قطعی (deterministic) است: همان کد را روی همان دنیای پنهان اجرا کنید و همیشه همان نتیجه را می‌گیرید. جایی که یک پروژه سرعت را بررسی می‌کند، عملیات را در برابر یک بودجه می‌شمارد، هرگز زمان روی ساعت را، پس یک لپ‌تاپ کند نمرهٔ کمتری نمی‌گیرد.

پیش از ارسال گزارش خودتان را بررسی کنید

بیشتر ارسال‌های ردشده ایده‌های نادرست نیستند؛ یک فیلد جاافتاده یا یک غلط تایپی‌اند. یک خودبررسی کوچک آن‌ها را می‌گیرد:

import json

report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}

def missing_fields(report, required):
    # return the required field names that the report does not have
    return [name for name in required if name not in report]

print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties']  -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
در زبان‌های دیگر

گزارش نمره می‌گیرد، نه کد، پس هر زبانی که JSON بنویسد کار می‌کند (پس می‌توانید نمونه‌کارتان را با زبانی که در کار استفاده می‌کنید بازسازی کنید).

JavaScript:

const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report)));  // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));

Go:

type Report struct {
    Site       string   `json:"site"`
    Trackers   []string `json:"trackers"`
    CSPPresent bool     `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", "  ")
fmt.Println(string(out))

C#:

var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));

یک تصور نادرست رایج

«نمرهٔ دنیای تمرینی من 100% است، پس نمرهٔ پنهان هم همین خواهد بود.» نه همیشه. اگر کد شما بی‌صدا به جزئیات دنیای تمرینی وابسته باشد، مانند فهرستی از نام‌های ردیاب که از آن کپی کردید، ردیاب‌های دنیای پنهان را از دست می‌دهد. این بیش‌برازش (overfitting) نامیده می‌شود: برازش با نمونه‌هایی که دیدید به‌جای قاعدهٔ پشت آن‌ها. پیش از ارسال، منطقتان را روی چند دنیای تمرینی که از بذرهای متفاوت ساخته شده‌اند بیازمایید (برای مثال build_world(seed=2) و همچنین دنیای معمول).

خلاصه

  • نمره‌دهی دنیای پنهان کار شما را روی دنیایی از بذری که ندیده‌اید اجرا می‌کند، پس پاسخ‌های کپی‌شده رد می‌شوند و مهارت واقعی قبول می‌شود.
  • برخی پروژه‌ها با یک گزارش JSON روی یک دنیای پنهان نمره می‌گیرند، بیشترشان با آزمون‌های پنهان؛ نوشتهٔ پروژهٔ پایانی برای آدم‌هاست، نه برای یک ارزیاب.
  • یافته‌ها بر اساس درست‌ها، ازدست‌رفته‌ها و هشدارهای نادرست سنجیده می‌شوند؛ هر دو نوع اشتباه حساب می‌شوند.
  • نمره‌دهی قطعی است و عملیات را می‌شمارد، نه زمان ساعت را. پیش از ارسال فیلدهای گزارشتان را خودتان بررسی کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.