पाठ्यक्रम 156 में से पाठ 152 · Capstone: एक प्रोजेक्ट चुनें
Capstone: एक प्रोजेक्ट चुनें

छिपी दुनिया आपको कैसे अंक देती है

यह क्यों मायने रखता है अगर आप ठीक जानते हैं कि क्या जाँचा जाता है, तो आप अनुमान लगाने के बजाय अपनी मेहनत उस पर लगा सकते हैं। जाँच कैसे काम करती है यह जानना यह भी बताता है कि यह निष्पक्ष क्यों है: कोई भी जवाब copy करके पास नहीं हो सकता, इसलिए पास होने का मतलब है आपने सचमुच चीज़ बनाई।

एक driving test की सोचें। आप अपने घर के पास की सड़कों पर तब तक अभ्यास करते हैं जब तक हर मोड़ न जान लें। उस दिन, परीक्षक एक ऐसा रास्ता चुनता है जिस पर आप कभी नहीं चले। सड़क के नियम वही हैं, पर सड़कें नई हैं, इसलिए पास होने का अकेला तरीका सचमुच चला पाना है।

आपके कई चरण प्रोजेक्टों को ठीक इसी तरह अंक मिले: चरण 2 का Tracker Lab, चरण 5 की device report और चरण 6 के छिपे tracker suite ने आपका code एक छिपी दुनिया पर चलाया जिसके नियम वही थे पर साइटें, नाम, trackers और आगंतुक अलग। जब आप अपने showcase प्रोजेक्ट को एक क़दम आगे ले जाएँ, तो उस क़दम को उसी तरह test करें: एक ऐसी दुनिया पर जिस पर आपने उसे साधा नहीं।

छिपी दुनिया: एक अभ्यास दुनिया जो आपने नहीं देखी, उसी generator से बनी जिस पर आपने अभ्यास किया, पर एक अलग seed से। यह सिर्फ़ अंक देने के लिए इस्तेमाल होती है।

Seed: एक रैंडम generator की शुरुआती संख्या। एक ही seed हमेशा एक ही दुनिया बनाता है, और एक अलग seed एक अलग। इसी तरह अंक देना सबके लिए निष्पक्ष हो सकता है और फिर भी आपके लिए नया।

दो तरह की जाँच

  • एक छिपी दुनिया के मुक़ाबले जाँची गई report (चरण 2 और चरण 5 प्रोजेक्ट)। आपका code छिपी दुनिया देखता है और एक JSON report लिखता है; जाँच उसकी तुलना उससे करती है जो वह जानती है कि सचमुच वहाँ है।
  • छिपे tests (ज़्यादातर labs, और चरण 3, 4, 6 और 7 प्रोजेक्ट)। जाँच आपके functions को ऐसे inputs से बुलाती है जो आपने नहीं देखे और नतीजे जाँचती है।

आपका capstone लेख (अगला पाठ) एक मशीन से अंक नहीं पाता: यह वह हिस्सा है जो आप एक व्यक्ति को दिखाते हैं। यह स्वचालित जाँचों को उन चीज़ों के बारे में रखता है जिन्हें एक मशीन निष्पक्ष रूप से परख सके।

JSON: डेटा के लिए एक सादा टेक्स्ट format, वर्ग कोष्ठकों में सूचियों और घुमावदार कोष्ठकों में labelled मानों से बना। एक Python dict और list लगभग एक-से-एक JSON में बदल जाते हैं।

एक report जाँच कैसी दिखती है

एक report बस संरचित निष्कर्ष है। अगर आप चरण 3 प्रोजेक्ट को एक अभ्यास दुकान की पूरी जाँच में एक क़दम आगे ले जाएँ, तो एक report ऐसी दिख सकती है:

{
  "site": "shopa.example",
  "third_parties": ["adco.example", "cdn.example"],
  "trackers": ["adco.example"],
  "cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
  "csp_present": false
}

grader उसके बारे में कुछ सादे सवाल पूछता है। क्या यह मान्य JSON है? क्या ज़रूरी फ़ील्ड सही types के साथ हैं? और हर निष्कर्ष के लिए: क्या यह सचमुच छिपी दुनिया में है?

Hits, misses और झूठे अलार्म

एक smoke alarm दो अलग तरह से सही या ग़लत हो सकता है। वह एक असली आग के दौरान चुप रह सकता है (एक miss), या तब बज सकता है जब आपने बस toast बनाया (एक झूठा अलार्म)। एक अच्छा alarm दोनों को कम रखता है। आपके निष्कर्ष उसी तरह परखे जाते हैं।

True positive: आपने कुछ रिपोर्ट किया और वह सचमुच वहाँ है। False positive: आपने कुछ ऐसा रिपोर्ट किया जो वहाँ नहीं है (एक झूठा अलार्म)। False negative: कुछ वहाँ है और आपने उसे रिपोर्ट नहीं किया (एक miss)।

मान लें आपका blocker, छिपी दुनिया पर, 20 tracker requests और 80 साधारण देखता है। यह 19 trackers रोकता है और, ग़लती से, 1 साधारण request भी जिसकी एक पन्ने को ज़रूरत थी। यह 19 hits, 1 miss और 1 झूठा अलार्म है। चरण 2 में आपने ऐसी गिनतियों को precision (आपके रोके में से कितने सचमुच trackers थे) और recall (असली trackers में से कितने आपने पकड़े) में बदला।

एक प्रोजेक्ट का pass नियम कोर्स योजना वाले जैसा हो सकता है: "कम से कम 95% tracker requests रोकीं, कोई false positives नहीं"। यहाँ 20 में से 19 ठीक 95% है, पर एक ग़लत रोकी request फिर भी उसे विफल करती है। निजता औज़ारों में दोनों ग़लतियाँ मायने रखती हैं: एक miss tracking को गुज़रने देता है, और एक झूठा अलार्म पन्ना तोड़ता है और लोगों को औज़ार बंद करना सिखाता है।

वही code, वही score

अंक देना deterministic है: वही code उसी छिपी दुनिया पर चलाएँ और आपको हमेशा वही नतीजा मिलता है। जहाँ एक प्रोजेक्ट गति जाँचता है, वह एक budget के मुक़ाबले operations गिनता है, घड़ी का समय कभी नहीं, इसलिए एक धीमे लैपटॉप के अंक नहीं कटते।

जमा करने से पहले अपनी report जाँचें

ज़्यादातर विफल submissions ग़लत विचार नहीं हैं; वे एक ग़ायब फ़ील्ड या एक टाइपिंग ग़लती हैं। एक छोटी self-check उन्हें पकड़ती है:

import json

report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}

def missing_fields(report, required):
    # return the required field names that the report does not have
    return [name for name in required if name not in report]

print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties']  -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
दूसरी भाषाओं में

report को अंक मिलते हैं, code को नहीं, इसलिए JSON लिखने वाली कोई भी भाषा काम करती है (इसलिए आप अपना showcase उस भाषा में फिर से बना सकते हैं जो आप काम पर इस्तेमाल करते हैं)।

JavaScript:

const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report)));  // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));

Go:

type Report struct {
    Site       string   `json:"site"`
    Trackers   []string `json:"trackers"`
    CSPPresent bool     `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", "  ")
fmt.Println(string(out))

C#:

var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));

एक आम ग़लतफ़हमी

"मेरा अभ्यास दुनिया score 100% है, इसलिए छिपा score भी होगा।" हमेशा नहीं। अगर आपका code चुपचाप अभ्यास दुनिया के विवरणों पर निर्भर है, जैसे उससे copy की गई tracker नामों की एक सूची, तो वह छिपी दुनिया में trackers चूकेगा। इसे overfitting कहते हैं: उनके पीछे के नियम के बजाय देखे उदाहरणों में फ़िट होना। जमा करने से पहले अपने तर्क को अलग seeds से बनी कुछ अभ्यास दुनियाओं पर test करें (उदाहरण के लिए सामान्य वाली के साथ build_world(seed=2) भी)।

सार

  • छिपी-दुनिया अंक देना आपके काम को ऐसे seed की दुनिया पर चलाता है जो आपने नहीं देखा, इसलिए copy किए जवाब विफल होते हैं और असली हुनर पास होता है।
  • कुछ प्रोजेक्टों को एक छिपी दुनिया पर एक JSON report से अंक मिलते हैं, ज़्यादातर को छिपे tests से; capstone लेख लोगों के लिए है, grader के लिए नहीं।
  • निष्कर्ष hits, misses और झूठे अलार्मों पर परखे जाते हैं; दोनों तरह की ग़लती गिनी जाती है।
  • अंक देना deterministic है और operations गिनता है, घड़ी का समय नहीं। जमा करने से पहले अपनी report के फ़ील्ड ख़ुद जाँचें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।