Hoe de verborgen wereld je beoordeelt
Waarom dit ertoe doet Als je precies weet wat er wordt gecontroleerd, kun je je inspanningen daarop richten in plaats van te gokken. Weten hoe de controle werkt vertelt je ook waarom het eerlijk is: niemand kan slagen door antwoorden te kopiëren, dus een voldoende betekent dat je het echt hebt gebouwd.
Denk aan een rijexamen. Je oefent op de straten bij je huis tot je elke hoek kent. Op de dag van het examen kiest de examinator een route die je nooit hebt gereden. De verkeersregels zijn hetzelfde, maar de straten zijn nieuw, dus de enige manier om te slagen is om echt te kunnen rijden.
Verschillende van je leg projecten werden precies zo beoordeeld: de Etappe 2 Tracker Lab, de Etappe 5 device report en de Etappe 6 hidden tracker suite draaiden je code op een hidden world met dezelfde regels maar andere sites, namen, trackers en bezoekers. Als je je showcase project een stap verder zet, test die stap dan op dezelfde manier: op een wereld waar je hem niet hebt afgestemd.
Verborgen wereld: een oefenwereld die je niet hebt gezien, gebouwd door dezelfde generator als de wereld waarop je hebt geoefend, maar met een andere seed. Het wordt alleen gebruikt voor het beoordelen.
Seed: het startnummer voor een willekeurige generator. Dezelfde seed bouwt altijd dezelfde wereld, en een andere seed bouwt een andere wereld. Zo kan het beoordelen eerlijk zijn voor iedereen en toch nieuw voor jou zijn.
Twee soorten controle
- A rapport gecontroleerd tegen een verborgen wereld (de Etappe 2 en Etappe 5 projecten). Je code kijkt naar de verborgen wereld en schrijft een JSON rapport; de check vergelijkt het met wat het echt weet dat er is.
- Verborgen tests (de meeste labs, en de projecten van Etappe 3, 4, 6 en 7). De check roept je functies aan met inputs die je niet hebt gezien en controleert de resultaten.
Je capstone write-up (volgende les) wordt niet door een machine beoordeeld: het is het deel dat je aan een persoon laat zien. Dat houdt de automatische controles over zaken die een machine eerlijk kan beoordelen apart.
JSON: een tekstformaat voor data, bestaande uit lijsten in vierkante haakjes en gelabelde waarden in accolades. Een Python dict en list veranderen bijna één tot één naar JSON.
Hoe een rapportcontrole eruitziet
DeA rapportage zijn gewoon gestructureerde bevindingen. Als je het Etappe 3 project een stap verder neemt naar een volledige audit van een praktijkshop, zou een rapport er zo uit kunnen zien:
{
"site": "shopa.example",
"third_parties": ["adco.example", "cdn.example"],
"trackers": ["adco.example"],
"cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
"csp_present": false
}
De grader stelt een paar simpele vragen hierover. Is het geldig JSON? Zijn de vereiste velden er met de juiste types? En voor elke bevinding: is het echt in de verborgen wereld?
Hits, misses en valse alarmen
EenA rookmelder kan op twee verschillende manieren fout zitten. Hij kan stil blijven tijdens een echte brand (een miss), of hij kan afgaan wanneer je alleen toast hebt gemaakt (een false alarm). Een goede alarm houdt beide laag. Jouw resultaten worden op dezelfde manier beoordeeld.
True positive: je hebt iets gemeld en het is er echt. False positive: je hebt iets gemeld dat er niet is (een vals alarm). False negative: iets is er en je hebt het niet gemeld (een miss).
Zeg dat je blocker, op de verborgen wereld, 20 tracker verzoeken en 80 gewone verzoeken ziet. Het blokkeert 19 van de trackers en ook, per ongeluk, 1 gewoon verzoek dat een pagina nodig had. Dat zijn 19 hits, 1 miss en 1 false alarm. In Etappe 2 heb je counts zoals deze omgezet naar precisie (hoeveel van de dingen die je blokkeerde echt trackers waren) en recall (hoeveel van de echte trackers je ving).
DeA pass rule voor een project kan lijken op die uit het cursusplan: "minimaal 95% van de tracker requests geblokkeerd, geen false positives". Hier is 19 van de 20 precies 95%, maar de ene foutief geblokkeerde request zorgt er nog steeds voor dat het faalt. Bij privacy tools doen beide fouten ertoe: een miss laat tracking door, en een false alarm breekt de pagina en leert mensen om de tool uit te zetten.
Zelfde code, zelfde score
Grading is deterministic: voer dezelfde code uit op dezelfde verborgen wereld en je krijgt altijd hetzelfde resultaat. Waar een project snelheid controleert, telt het operaties tegen een Budget, nooit de tijd op een klok, dus een trage laptop wordt niet lager beoordeeld.
Controleer je eigen rapport voordat je het indient
De meeste mislukte inzendingen zijn geen foute ideeën; het is een ontbrekend veld of een typefout. Een kleine zelfcontrole pakt die op:
import json
report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}
def missing_fields(report, required):
# return the required field names that the report does not have
return [name for name in required if name not in report]
print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties'] -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
In andere talen
Het rapport wordt beoordeeld, niet de code, dus elke taal die JSON schrijft werkt (dus kun je je showcase herbouwen in de taal die je op je werk gebruikt).
JavaScript:
const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report))); // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));
Go:
type Report struct {
Site string `json:"site"`
Trackers []string `json:"trackers"`
CSPPresent bool `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", " ")
fmt.Println(string(out))
C#:
var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));
A veelvoorkomende misvatting
"Mijn score in de oefenwereld is 100%, dus de verborgen score zal dat ook zijn." Niet altijd. Als je code stilletjes afhankelijk is van details van de oefenwereld, zoals een lijst met tracker namen die je ervan hebt gekopieerd, dan mist het trackers in de verborgen wereld. Dat wordt overfitting genoemd: het aanpassen aan de voorbeelden die je zag in plaats van de regel erachter. Test je logica op een paar oefenwerelden gebouwd uit verschillende seeds (bijvoorbeeld build_world(seed=2) evenals de gebruikelijke) voordat je verzendt.
Samenvatting
- Hidden-world grading voert je werk uit op een wereld van een seed die je niet hebt gezien, dus gekopieerde antwoorden falen en echte vaardigheid slaagt.
- Sommige projecten worden beoordeeld door een JSON rapport op een verborgen wereld, de meeste door verborgen tests; de afsluitende beschrijving is voor mensen, niet voor een beoordelaar.
- Resultaten worden beoordeeld op hits, misses en false alarms; beide soorten fouten tellen.
- Graden is deterministisch en telt operaties, geen kloktijd. Controleer de velden van je rapport zelf voordat je het indient.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.