Conjuntos de anonimato e entropia
Por que isso importa As manchetes dizem coisas como "seu navegador é único" ou "esta característica dá 10 bits". Esta lição mostra como esses números são medidos, e as duas armadilhas que deixam muitos deles maiores que a verdade. Depois você consegue julgar afirmações sobre privacidade, inclusive as suas.
Escondido na multidão
Imagine uma estação cheia de passageiros com casacos pretos idênticos. Se você também usar um casaco preto, se esconde entre centenas. Se usar um amarelo vivo, a multidão em que você se esconde é só você.
Conjunto de anonimato: o grupo de pessoas que parecem exatamente iguais a você para um observador. Quanto maior, melhor você se esconde. Um conjunto de tamanho 1 significa que você é único.
Na lição 50 você mediu o quanto uma pessoa, Sam, se destacava em uma multidão. Aqui você mede a multidão inteira de 5.000 navegadores sintéticos (criados por synthetic_browsers, sem pessoas reais), para ver o quão bem todo mundo se esconde.
Agrupe, depois conte
Escolha algumas características, por exemplo ["timezone", "language"]. A impressão digital de cada navegador é a tupla desses valores, por exemplo ("Europe/London", "en-GB"). Uma tupla funciona como chave de dict, então collections.Counter consegue contar quantos navegadores compartilham cada uma:
from collections import Counter
Counter([("A", "x"), ("A", "x"), ("B", "x")])
# Counter({('A', 'x'): 2, ('B', 'x'): 1})Toda contagem é um conjunto de anonimato. Uma contagem 1 é um navegador único. Com as 13 características, a maioria dos 5.000 navegadores acaba sendo única.
Entropia: um número para a multidão inteira
Na lição 48 você usou a entropia de Shannon para medir o quanto os caracteres de um texto estão misturados. A mesma fórmula funciona em uma multidão: para cada conjunto de anonimato, pegue sua fração p do total e some -p * log2(p).
Entropia (de uma impressão digital): o número médio de bits que um rastreador descobre sobre um visitante aleatório a partir dessas características. 0 bits: todos parecem iguais. log2(N) bits: todos em uma multidão de N são únicos.
Exemplo: quatro navegadores com fusos horários A, A, B, C. As frações são 1/2, 1/4 e 1/4, então a entropia é 0.5 x 1 + 0.25 x 2 + 0.25 x 2 = 1.5 bits.
Armadilha 1: o teto
Uma multidão de 5.000 nunca pode mostrar mais que log2(5000), cerca de 12.3 bits, porque nesse ponto todo mundo já é único. Então um estudo de 5.000 navegadores que encontra "12 bits" pode estar batendo no teto, não medindo a característica. E ser único entre 5.000 não é ser único entre bilhões. Amostras maiores dão números maiores e mais honestos.
Armadilha 2: somar as características
Fuso horário e idioma andam juntos: a maioria dos navegadores com Asia/Tokyo diz ja-JP. Placa de vídeo e sistema também. Então somar a entropia de cada característica sozinha conta a mesma informação várias vezes. Seu sum_of_parts vai sair bem acima de joint, a entropia de todas as características medidas juntas, e bem acima do teto de 12.3 bits. O número conjunto é o honesto.
Um equívoco comum
"Entropia alta significa que todo mundo pode ser rastreado." A entropia é uma média. Uma multidão pode ter entropia alta enquanto um grupo grande de pessoas com configurações muito comuns ainda se esconde bem. Olhe tanto a média quanto quantas pessoas ficam em conjuntos pequenos.
Experimente Quando passar, imprima entropy_bits(crowd, [t]) para cada característica (a solução faz isso). Quais três características carregam mais bits? Depois compare os valores do seu próprio navegador para essas características com um site de teste de impressão digital como o Cover Your Tracks, da EFF.
Em outras linguagens
JavaScript:
function entropyBits(rows, traits) {
const counts = new Map();
for (const r of rows) {
const key = JSON.stringify(traits.map(t => r[t]));
counts.set(key, (counts.get(key) || 0) + 1);
}
let bits = 0;
for (const c of counts.values()) {
const p = c / rows.length;
bits -= p * Math.log2(p);
}
return bits;
}Go:
func entropyBits(keys []string) float64 {
counts := map[string]int{}
for _, k := range keys {
counts[k]++
}
bits := 0.0
for _, c := range counts {
p := float64(c) / float64(len(keys))
bits -= p * math.Log2(p)
}
return bits
}Resumo
- Um conjunto de anonimato é todo mundo que parece exatamente igual a você; tamanho 1 significa único.
- A entropia é a média de bits descobertos sobre um visitante: agrupe, conte e depois some -p log2(p).
- Nenhuma amostra de N consegue mostrar mais que log2(N) bits; amostras pequenas subestimam a multidão.
- Meça as características juntas: somá-las uma a uma conta duas vezes as características ligadas.
Escreva fingerprint(row, traits) (uma tupla dos valores), anonymity_sets(rows, traits) (um dict de impressão digital para contagem), fraction_unique(rows, traits) (a fração de linhas em um conjunto de tamanho 1), entropy_bits(rows, traits) (a entropia de Shannon sobre os conjuntos de anonimato) e max_bits(n) (log2(n)). Depois defina joint como a entropia de crowd sobre todas as TRAIT_NAMES, e sum_of_parts como a soma da entropia de cada característica sozinha.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.