Programma Les 150 van 156 · Meet het web als een onderzoeker
Meet het web als een onderzoeker

Project Etappe 7: een studie met een fix

Waarom dit ertoe doetEcht privacywerk is een lus: meet een probleem, pas een oplossing toe, meet opnieuw en zeg eerlijk wat er veranderde en wat het kostte. Dit project voert die lus van begin tot eind uit, waarbij de crawler uit deze module wordt gecombineerd met een verdediging uit de vorige.

Denk aan een dokter die controleert of een behandeling werkt: eerst meten, behandelen, op dezelfde manier opnieuw meten, en de bijwerkingen noteren. Zonder de eerste meting is er niets om mee te vergelijken; zonder de bijwerkingen is het resultaat slechts voor de helft waar.

De vraag

Op het gesimuleerde web, zou iemand die je versleutelde verbinding bekijkt kunnen zien welk gevoelig site je bezocht, en hoeveel padding zou het kosten om hen betrouwbaar te stoppen?

Het bezoeken van een site over gezondheid, financiën of religie kan iets persoonlijks onthullen, zelfs als er niets anders lekt. Je gaat:

  1. Meet de instelling. Crawl SimWeb(seed), vind de sites waarvan de categorie in SENSITIVE zit, en noteer welk deel van deze een vermelde tracker laadt. Neem de eerste 6 gevoelige sites op basis van rang.
  2. Meet het probleem. Haal paginaloads op voor die 6 sites met page_loads(seed, sites=...) en meet de dichtstbijzijnde-centroid nauwkeurigheid, zoals in les 143.
  3. Pas de fix toe. Probeer de budgets in PAD_LEVELS één voor één te padden. Pad voor elk de trainingsladingen met seed=1 en de testladingen met seed=2, train opnieuw en meet nog een keer. Stop bij het eerste budget waarvan de nauwkeurigheid op of onder TARGET ligt. Als geen van de budgets dit bereikt, houd de laatste over.
  4. Meet de kosten.De overhead bij het gekozen Budget, zoals in les 143.
  5. Schrijflimieten.Minimaal twee eerlijke zinnen, zoals in les 149. Eén hoort hier, wat je ook vindt: het Budget werd gekozen door te kijken naar de nauwkeurigheid op dezelfde testladingen die je daarna rapporteert, wat het resultaat een beetje mooi maakt. Een zorgvuldige studie kiest het Budget op een derde, aparte set ladingen en rapporteert de testset één keer.

Het rapport

study(seed) geeft een dictionary terug met precies deze keys:

{
  "seed": 7,
  "sites": ["...", ...],              # the 6 sensitive sites, by rank
  "sensitive_with_trackers": 0.97,    # share of ALL sensitive sites with a listed tracker
  "accuracy_before": 0.94,
  "padding_budget": 800,              # the first level in PAD_LEVELS reaching TARGET
  "accuracy_after": 0.19,
  "overhead": 2.07,                   # extra test cells as a fraction: here about 3 times the traffic
  "target_met": True,                 # accuracy_after <= TARGET
  "limits": ["...", "..."]            # at least two sentences
}

De getallen worden vergeleken met een verborgen run op een andere seed, dus je code moet de studie uitvoeren en niet een antwoord kopiëren. De limieten worden niet beoordeeld op inhoud, maar de tutor kan daar feedback op geven. Denk aan: een gesloten wereld van 6 sites, een waarnemer die jouw padding instellingen kent, gesimuleerde verkeer, en wat de tracker share je wel en niet vertelt.

Let op de twee helften van het resultaat. Padding beschermt het bezoek tegen een netwerkwaarnemer, maar de trackers op diezelfde sites leren nog steeds direct over je. Eén verdediging dekt nooit elke dreiging, en je verslag kan dat zeggen.

Een veelvoorkomende misvatting: "Als de accuracy onder de doelwaarde daalt, is het probleem opgelost." Je hebt het voor deze waarnemer opgelost, in deze gesloten wereld, tegen een gemeten kostenprijs. Dat is een echt resultaat, en het heeft grenzen.

In andere talen

Het kiezen van het eerste niveau dat een doel behaalt, elders:

// JavaScript
let chosen, after;
for (const budget of PAD_LEVELS) {
  chosen = budget;
  after = paddedAccuracy(data, budget);
  if (after <= TARGET) break;
}
// Go
var chosen int
var after float64
for _, budget := range padLevels {
    chosen, after = budget, paddedAccuracy(data, budget)
    if after <= target { break }
}

Samenvatting

  • Meet, fixeer, meet opnieuw op dezelfde manier, en rapporteer de kosten.
  • Padding verbergde welke gevoelige site werd bezocht voor een netwerkwaarnemer, tegen een gemeten bandbreedteprijs.
  • De trackers op die sites zijn een apart probleem waar padding niet aan raakt.
  • Eerlijke beperkingen zijn onderdeel van het resultaat, geen excuses voor het resultaat.
Jij bent aan de beurt

Schrijf study(seed) volgens de vijf stappen hierboven, en geef de report dict terug met precies de getoonde keys. Gebruik PAD_LEVELS = [50, 100, 200, 400, 800] en TARGET = 0.4, nearest-centroid classification op (outgoing, incoming) features waarbij bij een gelijkspel de alfabetisch eerste site wordt gekozen, pad_traces(..., seed=1) voor training loads en seed=2 voor test loads. Stel report = study(7) in. De tests voeren je studie opnieuw uit op een verborgen seed.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.