강의 계획 레슨 156개 중 71번째 · 여러분 자신의 사이트 위의 서드파티
여러분 자신의 사이트 위의 서드파티

사이트의 서드파티 감사하기

왜 중요한가 세지 않은 건 고칠 수 없어요. 사이트에서 무엇이든 바꾸기 전에 프라이버시 엔지니어는 페이지 불러오기를 잡아서 그것이 이야기한 모든 바깥 서버를 나열해요. 이 연습에서 그 감사를 Python 몇 줄로 직접 쓰고, 3구간 프로젝트에서 그 생각을 다시 써요.

카페 문 앞의 방명록을 생각해 보세요. 하루가 끝나면 읽으며 물어요: 누가 들어왔고, 얼마나 자주, 누가 무언가를 두고 갔나? 요청 기록이 웹사이트의 방명록이에요.

HAR 파일: HTTP Archive의 줄임말. DevTools는 페이지가 한 모든 요청을 파일 하나로 저장할 수 있어요(Network 탭, 오른쪽 클릭, "Save all as HAR"). 각 항목은 URL, 요청 종류, 헤더, 상태, 정해진 쿠키를 나열해요. 우리 연습 브라우저는 browser.har()로 같은 걸 dict 리스트로 줘요.

연습 세계의 항목 하나는 이렇게 생겼어요(줄임):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

진짜 HAR 파일에는 top_site가 없고, 페이지 URL에서 읽어야 해요. 우리 기록은 코드를 짧게 하려고 그걸 더해요.

감사가 답하는 세 질문

  1. 이 요청은 서드파티로 가나? URL의 사이트를 top_site와 비교해요. 전체 호스트가 아니라 사이트를 쓰세요: img.shopb.example은 shopb.example에 속하니 퍼스트파티예요.
  2. 각 바깥 호스트는 얼마나 받나? 요청을 세고 쿠키를 정했는지 적어 둬요.
  3. 누가 사이트를 넘나들며 사람들을 보나? 서로 다른 top_site 값 두 개 이상 아래 나오는 호스트는 방문을 이을 수 있어요. 그게 먼저 살펴볼 것들이에요.

연습 세계의 도우미 둘이 URL 일을 해 줘요: host_of(url)은 호스트("img.shopb.example")를, site_of(url)은 등록 가능한 사이트("shopb.example")를 줘요.

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

호스트별 개수를 만들 때는 dict 메서드 setdefault(key, default)가 편해요: key의 값을 돌려주는데, 키가 새것이면 먼저 default를 저장해요.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

흔한 오해: "쿠키를 정하지 않는 호스트는 무해하다". 모든 사이트에 나오는 호스트는 여전히 매번 IP 주소와 브라우저를 보고, 쿠키 대신 URL에 자기 ID를 넘길 수 있어요. 쿠키만이 아니라 요청과 사이트를 세세요.

다른 언어로

DevTools에서 내보낸 HAR 파일에 대한 같은 감사. 진짜 HAR 파일은 항목을 log.entries 아래 둬요.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

사이트를 올바르게 얻으려면 Public Suffix List가 필요해요(그래야 a.co.uk가 co.uk의 일부로 다뤄지지 않아요). 점으로 나누지 말고 JavaScript의 tldts나 Go의 golang.org/x/net/publicsuffix 같은 라이브러리를 쓰세요.

요약

  • 요청 기록(HAR)은 사이트의 방명록이에요: 페이지 불러오기가 연락한 모든 바깥 서버.
  • 서드파티는 다른 호스트 이름이 아니라 주소창과 다른 사이트를 뜻해요.
  • 여러 다른 사이트 아래 보이는 호스트가 방문을 이을 수 있는 것들이에요.
내 차례

시작 코드가 연습 기록을 잡아 줘요: AdCo가 ID 쿠키를 정하는 동안 Sam이 가게 페이지 12개를 브라우징해요. 함수 세 개를 쓰세요:

  1. is_third_party(entry): site_of(entry["url"])가 entry["top_site"]와 다르면 True, 아니면 False를 돌려줘요.
  2. audit(har): 리스트를 돌며 모든 서드파티 항목에 대해 host_of(entry["url"])를 키로 하는 dict를 만들어요. 각 값은 "requests"(그 호스트로 간 항목 수), "sites"(그것이 보인 서로 다른 top_site 값의 정렬된 리스트), "sets_cookies"(항목 중 하나라도 비어 있지 않은 set_cookies 리스트가 있으면 True)가 있는 dict예요. dict를 돌려주세요. 퍼스트파티 항목은 빼요.
  3. watchers(report): audit의 dict를 받아 두 개 이상의 사이트 아래 보인 호스트의 리스트를 알파벳 순으로 돌려줘요.
마지막으로 각 감시자를 요청 수와 함께 출력하세요. 테스트는 다른 기록을 쓰니, 답을 손으로 칠 수 없어요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.