익명 집합과 엔트로피
왜 중요한가 헤드라인은 "여러분의 브라우저는 고유하다"나 "이 특성은 10비트를 준다" 같은 말을 해요. 이 레슨은 그런 숫자를 어떻게 재는지, 그리고 그중 많은 걸 진실보다 크게 만드는 두 함정을 보여 줘요. 그러면 여러분 자신의 것을 포함해 프라이버시 주장을 판단할 수 있어요.
무리 속에 숨기
똑같은 검은 외투를 입은 통근자로 가득한 역을 상상해 보세요. 여러분도 검은 외투를 입으면 수백 명 사이에 숨어요. 밝은 노란색을 입으면 숨을 무리는 여러분뿐이에요.
익명 집합: 관찰자에게 여러분과 정확히 똑같아 보이는 사람들의 무리. 클수록 더 잘 숨어요. 크기 1인 집합은 여러분이 고유하다는 뜻이에요.
50번 레슨에서 한 사람 Sam이 무리에서 얼마나 튀는지 쟀어요. 여기서는 합성 브라우저 5,000개(synthetic_browsers가 지어낸 것, 진짜 사람 없음)의 무리 전체를 재서 모두가 얼마나 잘 숨는지 봐요.
묶고, 그다음 세기
특성 몇 개를 고르세요. 예: ["timezone", "language"]. 각 브라우저의 핑거프린트는 그 값들의 튜플이에요. 예: ("Europe/London", "en-GB"). 튜플은 dict 키로 작동하니, collections.Counter가 각각을 나눠 가진 브라우저 수를 셀 수 있어요:
from collections import Counter
Counter([("A", "x"), ("A", "x"), ("B", "x")])
# Counter({('A', 'x'): 2, ('B', 'x'): 1})모든 개수가 익명 집합이에요. 개수 1은 고유한 브라우저예요. 특성 13개를 모두 쓰면 5,000개 브라우저 대부분이 고유한 것으로 나와요.
엔트로피: 무리 전체를 위한 숫자 하나
48번 레슨에서 섀넌 엔트로피로 글의 문자가 얼마나 뒤섞였는지 쟀어요. 같은 공식이 무리에도 작동해요: 각 익명 집합에 대해 전체 중 그 몫 p를 구하고, -p * log2(p)를 더해요.
(핑거프린트의) 엔트로피: 추적기가 이 특성들로 무작위 방문자에 대해 알게 되는 평균 비트 수. 0비트: 모두 같아 보여요. log2(N)비트: N명 무리의 모두가 고유해요.
예: 시간대가 A, A, B, C인 브라우저 넷. 몫은 1/2, 1/4, 1/4이니, 엔트로피는 0.5 x 1 + 0.25 x 2 + 0.25 x 2 = 1.5비트예요.
함정 1: 천장
5,000명 무리는 결코 log2(5000), 약 12.3비트보다 많이 보여 줄 수 없어요. 그 지점에서 모두가 이미 고유하거든요. 그래서 "12비트"를 찾은 브라우저 5,000개 연구는 특성을 재는 게 아니라 천장에 닿은 걸 수도 있어요. 그리고 5,000명 중 고유한 건 수십억 명 중 고유한 게 아니에요. 표본이 클수록 더 크고 더 정직한 숫자를 줘요.
함정 2: 특성 더하기
시간대와 언어는 함께 다녀요: 대부분의 Asia/Tokyo 브라우저는 ja-JP라고 말해요. 그래픽 카드와 시스템도 그래요. 그래서 각 특성의 엔트로피를 따로 더하면 같은 정보를 여러 번 세요. 여러분의 sum_of_parts는 모든 특성을 함께 잰 엔트로피인 joint보다, 그리고 12.3비트 천장보다 훨씬 높게 나올 거예요. 정직한 건 결합한 숫자예요.
흔한 오해
"엔트로피가 높으면 모두를 추적할 수 있다." 엔트로피는 평균이에요. 무리의 엔트로피가 높아도 아주 흔한 설정을 가진 큰 무리는 여전히 잘 숨을 수 있어요. 평균과 얼마나 많은 사람이 작은 집합에 있는지를 둘 다 보세요.
해 보기 통과하면 각 특성에 대해 entropy_bits(crowd, [t])를 출력하세요(풀이가 이걸 해요). 어떤 세 특성이 가장 많은 비트를 싣나요? 그다음 그 특성에 대한 여러분 브라우저 자신의 값을 EFF의 Cover Your Tracks 같은 핑거프린트 테스트 사이트와 비교하세요.
다른 언어로
JavaScript:
function entropyBits(rows, traits) {
const counts = new Map();
for (const r of rows) {
const key = JSON.stringify(traits.map(t => r[t]));
counts.set(key, (counts.get(key) || 0) + 1);
}
let bits = 0;
for (const c of counts.values()) {
const p = c / rows.length;
bits -= p * Math.log2(p);
}
return bits;
}Go:
func entropyBits(keys []string) float64 {
counts := map[string]int{}
for _, k := range keys {
counts[k]++
}
bits := 0.0
for _, c := range counts {
p := float64(c) / float64(len(keys))
bits -= p * math.Log2(p)
}
return bits
}요약
- 익명 집합은 여러분과 정확히 똑같아 보이는 모두예요. 크기 1은 고유하다는 뜻이에요.
- 엔트로피는 방문자에 대해 알게 되는 평균 비트예요: 묶고, 세고, 그다음 -p log2(p)를 더해요.
- N개 표본은 결코 log2(N)비트보다 많이 보여 줄 수 없어요. 작은 표본은 무리를 과소평가해요.
- 특성은 함께 재세요: 하나씩 더하면 연결된 특성을 두 번 세요.
fingerprint(row, traits)(값의 튜플), anonymity_sets(rows, traits)(핑거프린트에서 개수로 가는 dict), fraction_unique(rows, traits)(크기 1인 집합에 있는 행의 몫), entropy_bits(rows, traits)(익명 집합에 대한 섀넌 엔트로피), max_bits(n)(log2(n))을 쓰세요. 그다음 joint를 모든 TRAIT_NAMES에 대한 crowd의 엔트로피로, sum_of_parts를 각 단일 특성 엔트로피의 합으로 정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.