강의 계획 레슨 156개 중 145번째 · 연구자처럼 웹 재기
연구자처럼 웹 재기

프라이버시 연구는 어떻게 작동하나

왜 중요한가 얼마나 많은 사이트가 추적기를 싣는지, 어떤 회사가 가장 많은 사람에게 닿는지 같은 웹 추적에 대해 우리가 아는 대부분은 수천 개 사이트를 자동으로 불러와 무슨 일이 일어나는지 기록하는 연구에서 와요. 그 연구가 어떻게 작동하는지 알면 헤드라인 숫자를 판단할 수 있고, 다음 레슨에서 직접 하나를 돌릴 수 있어요.

새 조사를 생각해 보세요. 자원봉사자들이 해마다 같은 때 같은 길을 걸으며 본 걸 세요. 셈은 방법만큼만 좋아요: 해 뜬 공원만 걸으면 올빼미를 놓쳐요. 웹 연구도 같아요. "사이트의 80%가 추적기를 싣는다" 같은 숫자는 어떤 사이트를, 어디서, 어떻게 방문했는지 알기 전까지 아무 뜻이 없어요.

크롤러: 웹 페이지를 하나씩 자동으로 방문하며 찾은 걸 기록하는 프로그램.

전수 조사 연구: 몇 개가 아니라 크고 정해진 집합(예: 가장 인기 있는 사이트 백만 개)의 모든 사이트를 방문하려는 측정이라서, 무언가가 얼마나 흔한지 말할 수 있어요.

계측: 연구가 화면에 나오는 것만이 아니라 페이지가 하는 모든 요청, 쿠키, 스크립트 호출을 볼 수 있도록 브라우저에 더한 추가 기록.

현대 연구는 어떻게 작동하나

  1. 사이트 고르기. 보통 인기 사이트의 공개 순위, 가끔 무작위 표본, 가끔 한 범주(뉴스, 건강).
  2. 진짜 브라우저 몰기. 단순 내려받기는 대부분의 추적기를 놓쳐요. 추적기는 스크립트가 불러오거든요. 연구는 페이지의 코드를 돌리는 진짜 브라우저를 몰아요.
  3. 모든 걸 기록하기. 요청과 응답, 정해진 쿠키, 각 스크립트가 쓴 브라우저 기능(예: 핑거프린팅 단서인 캔버스 읽기), 리디렉션.
  4. 라벨 붙이고 세기. 서드파티를 추적기 목록과 맞추고, 각각 얼마나 자주 나오는지 세요.

잘 알려진 예는 오픈 소스 측정 도구 OpenWPM으로, 가장 인기 있는 사이트 백만 개를 크롤링해 아무도 보여 주지 못한 규모의 핑거프린팅 스크립트와 추적을 찾은 2016년 연구에 쓰였어요. 많은 후속 연구가 같은 패턴을 따라요.

방법이 답을 바꾸는 이유

  • 홈페이지만, 아니면 더 깊이? 안쪽 페이지(기사, 결제)는 흔히 다른 추적기를 불러와요.
  • 무상태 아니면 유상태? 무상태 크롤링은 사이트마다 새 브라우저로 시작하고, 유상태 크롤링은 사람처럼 사이트를 넘나들며 쿠키를 지키니 사이트 간 추적을 볼 수 있어요.
  • 동의 배너. 결코 누르지 않는 크롤러는 동의 전에 일어나는 걸 재고, "수락"을 누르는 크롤러는 다른 걸 재요. 어느 쪽을 했는지 말하세요.
  • 크롤러가 있는 곳. 사이트는 나라와 기기마다 다른 걸 보여 줘요.
  • 봇 탐지. 어떤 사이트는 크롤러를 사람과 다르게 다루니, 크롤링이 과소 계산할 수 있어요.
  • 시점. 웹은 매주 바뀌어요. 연구는 날짜가 있는 스냅숏이에요.

흔한 오해: "크롤링이 클수록 언제나 더 좋은 연구다." 크기는 무작위 오차를 줄이지만 편향은 아니에요. 데이터 센터 하나에서 클릭 없이 방문한 홈페이지 백만 개는 진짜 사람들이 겪는 것에 대해 정밀하게 틀릴 수 있어요.

이 모듈에서는 지어낸 사이트 1,000개의 시뮬레이션 웹을 크롤링해요. 배우는 데 중요한 면에서 진짜처럼 행동하고, 진짜는 아무것도 연락하지 않아요.

해 보기 브라우저의 개발자 도구(F12, 또는 Mac에서 Cmd+Option+I)를 열고 Network 탭으로 가서 뉴스 사이트를 불러오세요. 목록의 서로 다른 도메인을 세세요. 방금 사이트 하나를 손으로 크롤링한 거예요. 그다음 Network 탭의 "Disable cache" 상자에 체크하고 새로 고쳐서 목록이 바뀌는지 보세요.

요약

  • 프라이버시 연구는 계측한 진짜 브라우저로 많은 사이트를 크롤링하고 기록한 걸 세요.
  • 전수 조사 연구는 상위 백만 사이트 같은 정해진 집합 전체를 덮으려 해요.
  • 홈페이지만, 동의 클릭, 위치, 날짜 같은 선택이 결과를 바꾸니 보고해야 해요.
  • 크다고 저절로 더 좋은 건 아니에요: 크기는 무작위 오차를 줄이지, 편향을 줄이지 않아요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.