강의 계획 레슨 156개 중 48번째 · 차단기 만들기
차단기 만들기

목록 없이 추적기 찾아내기

왜 중요한가 목록은 누군가 이미 찾아서 적어 둔 추적기만 알아요. 새 추적기는 매주 나타나고, 어떤 것은 일부러 이름을 바꿔요. 행동으로 추적기를 알아보면 어느 목록도 아직 들어 본 적 없는 것을 잡아요.

사진 없이 좀도둑 알아보기

알려진 좀도둑 명단을 가진 가게 경비원은 쓸모 있어요. 하지만 좋은 경비원은 행동도 지켜봐요: 거리의 모든 가게를 들르며 누가 들어가는지 적는 사람. 이름을 몰라도 무엇을 하는지 볼 수 있어요.

추적기에도 티 나는 행동이 있어요. 이 레슨에서는 브라우저 요청 기록에서 세 가지 단서를 찾아요:

  1. 어디에나 동시에. 같은 서드파티 사이트가 둘 이상의 다른 사이트에 나타나요. 그게 방문을 이어 붙일 수 있게 해 줘요.
  2. 주소 속 고유 ID. cid=df0641532d7f처럼 무작위로 보이는 쿼리 값: 여러분을 위한 이름표예요.
  3. 픽셀. 100바이트 이하의 "이미지", 아무것도 보여 주기엔 너무 작아요. 유일한 일은 브라우저가 요청을 보내게 하는 거예요.

휴리스틱: 보통은 맞지만 언제나는 아닌 경험칙, "먹구름은 비를 뜻한다"처럼요. 휴리스틱은 새로운 걸 잡을 수 있고, 속을 수도 있어요.

우리 규칙: 단서 1이 참이고 그리고 단서 2나 3 중 적어도 하나가 참이면 그 사이트는 추적기예요. 단서 1을 요구하면 해 없는 cdn.example이 안전해요: 모든 가게에 있지만 ID를 보내지 않고, 로고는 진짜 2 KB 그림이에요.

무작위는 얼마나 무작위일까? 엔트로피, 간단히

ID를 평범한 단어와 구별하려고 글자가 얼마나 뒤섞였는지 재요. aaaa는 전혀 섞이지 않았어요. abcd는 네 가지 다른 글자를 똑같이 써요.

섀넌 엔트로피: 무언가가 얼마나 예측하기 어려운지를 비트로 나타낸 숫자. 글이라면: 다른 글자마다 글에서 그 몫 p를 구하고 -p * log2(p)를 더해요. 다양할수록 비트가 많아요.

char_entropy("aaaa")   # 0.0  every character is the same
char_entropy("abab")   # 1.0  two characters, half each
char_entropy("abcd")   # 2.0  four characters, a quarter each

math.log2(p)는 "1을 몇 번 반으로 나눠야 p가 되나"를 음수로 준 거라서 마이너스 기호가 있어요. collections.Counter(text)는 각 글자를 세어 줘요. 다음 모듈에서 이 같은 공식을 브라우저 무리 전체에 적용해 다시 만나요.

엔트로피만으로는 부족해요: trail-shoes도 꽤 섞여 있어요. 그래서 looks_like_id는 적어도 8글자, 글자, 숫자, -, _만, 그리고 적어도 글자 하나와 숫자 하나도 요구해요. 단어는 숫자 시험에서 떨어지고, 날짜와 URL은 글자나 문자 시험에서 떨어져요.

기록 읽기

browser.log의 각 record에는 필요한 게 있어요:

  • site_of(record.url)와 record.top_site: 다르면 서드파티예요.
  • record.request.params: 이미 디코딩된 dict 형태의 쿼리.
  • record.response: 차단되면 None, 아니면 .header("Content-Type")과 바이트 단위의 .size.

정직한 한계

기록에서 사이트 하나에만 있는 추적기는, 아직 방문하지 않은 수천 개의 사이트에 있더라도 눈에 띄지 않고 지나가요. 쿠키에 ID를 숨기고 평범한 크기의 이미지를 보내는 추적기도 빠져나가요. 그리고 자기 사이트로 ID를 보내는 퍼스트파티 분석 스크립트는 아예 서드파티가 아니에요. 그래서 실제 차단기는 목록과 휴리스틱을 함께 써요.

해 보기 DevTools(F12, Mac에서는 Cmd+Option+I)를 열고, Network 탭으로 가서 Img로 걸러 낸 다음 뉴스 사이트를 불러오세요. Size로 정렬하세요. Size 열은 응답 헤더도 세니, 이미지가 수십 바이트뿐인 픽셀도 수백 바이트로 보여요. 다른 사이트에서 온 그렇게 작은 이미지는 픽셀일 가능성이 아주 높아요. 하나를 눌러 쿼리 문자열에 긴 무작위 값이 있는지 보세요.

다른 언어로

JavaScript:

function charEntropy(text) {
  if (!text) return 0;
  const counts = {};
  for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
  let bits = 0;
  for (const n of Object.values(counts)) {
    const p = n / text.length;
    bits -= p * Math.log2(p);
  }
  return bits;
}

const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
  && /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;

C#:

static double CharEntropy(string text) =>
    text.Length == 0 ? 0 :
    -text.GroupBy(c => c)
         .Select(g => (double)g.Count() / text.Length)
         .Sum(p => p * Math.Log2(p));

요약

  • 행동이 추적기를 드러내요: 많은 사이트에 있고, 무작위 ID를 보내고, 픽셀을 가져와요.
  • 섀넌 엔트로피는 글이 얼마나 섞였는지 재요. 무작위 ID는 점수가 높아요.
  • "2개 이상의 사이트에"를 요구하면 CDN 같은 해 없는 도우미를 지켜요.
  • 휴리스틱은 새 추적기를 잡지만 일부를 놓쳐요. 실제 차단기는 목록과 함께 써요.
내 차례

char_entropy(text)(글자당 비트 단위의 섀넌 엔트로피, 빈 글이면 0.0), looks_like_id(value)(적어도 8글자, 모두 ID_CHARS 안, 적어도 숫자 하나와 글자 하나, 엔트로피 적어도 2.0), is_pixel(record)(Content-Type이 image/로 시작하고 크기가 100바이트 이하인 응답), 그리고 적어도 2개의 다른 최상위 사이트에서 서드파티로 나타나고 ID 같은 쿼리 값을 보냈거나 픽셀을 받은 사이트의 집합을 반환하는 find_trackers(log)를 쓰세요. watched.reference를 쓰지 마세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.