Conteúdo do curso Lição 150 de 156 · Meça a web como um pesquisador
Meça a web como um pesquisador

Projeto da Etapa 7: um estudo com uma correção

Por que isso importa O trabalho real de privacidade é um ciclo: meça um problema, aplique uma correção, meça de novo e diga com honestidade o que mudou e quanto custou. Este projeto roda esse ciclo de ponta a ponta, juntando o crawler deste módulo com uma defesa do anterior.

Pense em um médico conferindo se um tratamento funciona: meça primeiro, trate, meça de novo do mesmo jeito e anote os efeitos colaterais. Sem a primeira medição não há com o que comparar; sem os efeitos colaterais o resultado é só meia verdade.

A pergunta

Na web simulada, alguém observando sua conexão criptografada conseguiria dizer qual site sensível você visitou, e quanto padding seria preciso para impedi-lo com segurança?

Visitar um site de saúde, de finanças ou de religião pode revelar algo pessoal mesmo que nada mais vaze. Você vai:

  1. Medir o cenário. Faça o crawl de SimWeb(seed), encontre os sites cuja categoria está em SENSITIVE e registre que fração deles carrega um rastreador da lista. Pegue os 6 primeiros sites sensíveis pela classificação.
  2. Medir o problema. Obtenha os carregamentos de página desses 6 sites com page_loads(seed, sites=...) e meça a precisão do centroide mais próximo, como na lição 143.
  3. Aplicar a correção. Experimente os orçamentos de padding de PAD_LEVELS em ordem. Para cada um, aplique padding aos carregamentos de treino com seed=1 e aos de teste com seed=2, treine de novo e meça de novo. Pare no primeiro orçamento cuja precisão fique igual ou abaixo de TARGET. Se nenhum chegar lá, fique com o último.
  4. Medir o custo. O overhead no orçamento escolhido, como na lição 143.
  5. Escrever os limites. Pelo menos duas frases honestas, como na lição 149. Uma cabe aqui, seja o que for que você encontrar: o orçamento foi escolhido olhando a precisão nos mesmos carregamentos de teste que você depois relata, o que favorece um pouco o resultado. Um estudo cuidadoso escolhe o orçamento em um terceiro conjunto de carregamentos, separado, e relata o conjunto de teste uma única vez.

O relatório

study(seed) retorna um dict com exatamente estas chaves:

{
  "seed": 7,
  "sites": ["...", ...],              # the 6 sensitive sites, by rank
  "sensitive_with_trackers": 0.97,    # share of ALL sensitive sites with a listed tracker
  "accuracy_before": 0.94,
  "padding_budget": 800,              # the first level in PAD_LEVELS reaching TARGET
  "accuracy_after": 0.19,
  "overhead": 2.07,                   # extra test cells as a fraction: here about 3 times the traffic
  "target_met": True,                 # accuracy_after <= TARGET
  "limits": ["...", "..."]            # at least two sentences
}

Os números são avaliados contra uma execução escondida em outra seed, então seu código precisa fazer o estudo, não copiar uma resposta. Os limites não são avaliados pelo conteúdo, mas o tutor pode comentá-los. Pense em: um mundo fechado de 6 sites, um observador que conhece suas configurações de padding, tráfego simulado e o que a fração de rastreadores diz e não diz.

Repare nas duas metades do resultado. O padding protege a visita de um observador da rede, mas os rastreadores nesses mesmos sites ainda descobrem coisas sobre você diretamente. Uma defesa nunca cobre todas as ameaças, e seu relatório pode dizer isso.

Um equívoco comum: "se a precisão caiu abaixo da meta, o problema está resolvido." Você o resolveu para este observador, neste mundo fechado, a um custo medido. É um resultado real, e ele tem bordas.

Em outras linguagens

Escolhendo o primeiro nível que atinge uma meta, em outras linguagens:

// JavaScript
let chosen, after;
for (const budget of PAD_LEVELS) {
  chosen = budget;
  after = paddedAccuracy(data, budget);
  if (after <= TARGET) break;
}
// Go
var chosen int
var after float64
for _, budget := range padLevels {
    chosen, after = budget, paddedAccuracy(data, budget)
    if after <= target { break }
}

Resumo

  • Meça, corrija, meça de novo do mesmo jeito e relate o custo.
  • O padding escondeu de um observador da rede qual site sensível foi visitado, a um preço de banda medido.
  • Os rastreadores nesses sites são um problema separado que o padding não toca.
  • Limites honestos fazem parte do resultado, não são um pedido de desculpas por ele.
Sua vez

Escreva study(seed) seguindo os cinco passos acima e retornando o dict do relatório com exatamente as chaves mostradas. Use PAD_LEVELS = [50, 100, 200, 400, 800] e TARGET = 0.4, classificação pelo centroide mais próximo nas features (outgoing, incoming) com os empates indo para o site que vem primeiro em ordem alfabética, pad_traces(..., seed=1) para os carregamentos de treino e seed=2 para os de teste. Defina report = study(7). Os testes rodam seu estudo de novo em uma seed escondida.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.