강의 계획 레슨 156개 중 146번째 · 연구자처럼 웹 재기
연구자처럼 웹 재기

시뮬레이션한 웹 크롤링하기

왜 중요한가 세기는 막연한 걱정("추적기가 어디에나 있다")을 확인하고 되풀이할 수 있는 사실로 바꾸는 방법이에요. 이 실습에서 시뮬레이션한 사이트 1,000개에 대해 진짜 같은 크롤링을 돌리고, 모든 추적 연구가 시작하는 표를 만들어요: 어떤 서드파티가 나오고, 몇 개 사이트에 나오는지.

크롤링은 가게의 재고 조사와 같아요: 모든 통로를 걷고, 모든 물건을 적고, 그다음 더해요. 여기서 각 통로는 사이트이고, 각 물건은 페이지가 한 요청이에요.

시뮬레이션한 웹

watched.leg7b_web의 SimWeb(seed)는 인기 순으로 순위가 매겨진 가상 사이트 1,000개를 만들어요. web.sites는 그 이름을 나열하고, web.visit(site)는 계측한 크롤러가 기록한 걸 돌려줘요:

from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of

web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
    print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example"))       # adco.example

서드파티: 방문하는 사이트가 아닌, 페이지가 연락하는 사이트. calmriver.example을 방문했는데 t.adco.example을 불러오면 서드파티는 adco.example이에요.

등록 가능한 도메인 (사이트): 주인 하나가 통제하는 호스트 이름 부분. 예: t.adco.example의 adco.example. site_of(host)가 계산해 줘요. 6구간에서 직접 썼어요.

보급률: 무언가가 얼마나 널리 퍼졌는지: 여기서는 서드파티가 나오는 크롤링한 사이트의 수(또는 몫).

dict로 세고, 키로 정렬하기

집합은 각 값을 한 번 지키니, "이 페이지가 어떤 서드파티에 연락했나"에 딱 맞아요. 페이지를 가로질러 세려면 dict를 쓰고 서드파티가 나오는 페이지마다 하나씩 더하세요. 표를 정렬하려면 key로 항목을 정렬하세요: 무엇으로 정렬할지 말하는 함수예요.

table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked)   # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.

서드파티는 거기서 요청을 몇 개 하든 사이트마다 한 번 쳐요. 한 사이트에서 픽셀 열 개를 쏘는 추적기도 여전히 사이트 하나에 있는 거예요.

TRACKER_LIST는 공개 필터 목록이 라벨 붙이듯 알려진 추적기 사이트의 차단 목록이에요. 나열된 추적기를 적어도 하나 불러오는 사이트의 몫이 많은 연구의 헤드라인 숫자예요.

흔한 오해: "모든 서드파티는 추적기다." 글꼴, 콘텐츠 전송 네트워크, 결제 위젯도 서드파티예요. 표는 가장 흔한 서드파티 일부가 무해하다는 걸 보여 줄 거고, 그래서 연구는 신중하게 라벨을 붙여요.

다른 언어로

JavaScript(Node)와 Go로 보급률 세기:

// JavaScript
const table = new Map();
for (const load of loads) {
  const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
  for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);
// Go
table := map[string]int{}
for _, load := range loads {
    seen := map[string]bool{}
    for _, r := range load.Requests {
        s := siteOf(r.Host)
        if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
    }
}

요약

  • 크롤링은 많은 사이트를 방문하고 모든 요청을 기록해요. 세기가 그걸 사실로 바꿔요.
  • site_of로 호스트를 사이트로 묶고, 각 서드파티는 사이트마다 한 번 세세요.
  • 키로 정렬해 보급률로 순위를 매기고, 동점은 이름으로 가르세요.
  • 모든 서드파티가 추적기는 아니에요. 목록으로 라벨을 붙이고 어떤 목록을 썼는지 말하세요.
내 차례

함수 다섯 개를 쓰세요:

  1. third_parties(load): 페이지가 연락한 사이트(site_of(request["host"]))의 집합, load["site"] 없이.
  2. prevalence(loads): 서드파티 사이트에서 그것이 나오는 불러오기 수로 가는 dict.
  3. top(table, n): 가장 큰 (site, count) 쌍 n개, 큰 것부터, 동점은 알파벳 순.
  4. cookie_setters(loads): sets_cookie가 참인 요청이 적어도 하나 있는 서드파티 사이트의 집합.
  5. tracker_share(loads, tracker_list): tracker_list의 사이트에 적어도 하나 연락하는 불러오기의 비율.
그다음 web.sites의 모든 사이트에 대해 순서대로 web.visit(site)로 loads를 채우세요. 테스트는 다른 시뮬레이션 웹도 크롤링해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.