사이트의 서드파티 감사하기
왜 중요한가 세지 않은 건 고칠 수 없어요. 사이트에서 무엇이든 바꾸기 전에 프라이버시 엔지니어는 페이지 불러오기를 잡아서 그것이 이야기한 모든 바깥 서버를 나열해요. 이 연습에서 그 감사를 Python 몇 줄로 직접 쓰고, 3구간 프로젝트에서 그 생각을 다시 써요.
카페 문 앞의 방명록을 생각해 보세요. 하루가 끝나면 읽으며 물어요: 누가 들어왔고, 얼마나 자주, 누가 무언가를 두고 갔나? 요청 기록이 웹사이트의 방명록이에요.
HAR 파일: HTTP Archive의 줄임말. DevTools는 페이지가 한 모든 요청을 파일 하나로 저장할 수 있어요(Network 탭, 오른쪽 클릭, "Save all as HAR"). 각 항목은 URL, 요청 종류, 헤더, 상태, 정해진 쿠키를 나열해요. 우리 연습 브라우저는 browser.har()로 같은 걸 dict 리스트로 줘요.
연습 세계의 항목 하나는 이렇게 생겼어요(줄임):
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}진짜 HAR 파일에는 top_site가 없고, 페이지 URL에서 읽어야 해요. 우리 기록은 코드를 짧게 하려고 그걸 더해요.
감사가 답하는 세 질문
- 이 요청은 서드파티로 가나? URL의 사이트를
top_site와 비교해요. 전체 호스트가 아니라 사이트를 쓰세요:img.shopb.example은shopb.example에 속하니 퍼스트파티예요. - 각 바깥 호스트는 얼마나 받나? 요청을 세고 쿠키를 정했는지 적어 둬요.
- 누가 사이트를 넘나들며 사람들을 보나? 서로 다른
top_site값 두 개 이상 아래 나오는 호스트는 방문을 이을 수 있어요. 그게 먼저 살펴볼 것들이에요.
연습 세계의 도우미 둘이 URL 일을 해 줘요: host_of(url)은 호스트("img.shopb.example")를, site_of(url)은 등록 가능한 사이트("shopb.example")를 줘요.
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.example호스트별 개수를 만들 때는 dict 메서드 setdefault(key, default)가 편해요: key의 값을 돌려주는데, 키가 새것이면 먼저 default를 저장해요.
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}흔한 오해: "쿠키를 정하지 않는 호스트는 무해하다". 모든 사이트에 나오는 호스트는 여전히 매번 IP 주소와 브라우저를 보고, 쿠키 대신 URL에 자기 ID를 넘길 수 있어요. 쿠키만이 아니라 요청과 사이트를 세세요.
다른 언어로
DevTools에서 내보낸 HAR 파일에 대한 같은 감사. 진짜 HAR 파일은 항목을 log.entries 아래 둬요.
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());사이트를 올바르게 얻으려면 Public Suffix List가 필요해요(그래야 a.co.uk가 co.uk의 일부로 다뤄지지 않아요). 점으로 나누지 말고 JavaScript의 tldts나 Go의 golang.org/x/net/publicsuffix 같은 라이브러리를 쓰세요.
요약
- 요청 기록(HAR)은 사이트의 방명록이에요: 페이지 불러오기가 연락한 모든 바깥 서버.
- 서드파티는 다른 호스트 이름이 아니라 주소창과 다른 사이트를 뜻해요.
- 여러 다른 사이트 아래 보이는 호스트가 방문을 이을 수 있는 것들이에요.
시작 코드가 연습 기록을 잡아 줘요: AdCo가 ID 쿠키를 정하는 동안 Sam이 가게 페이지 12개를 브라우징해요. 함수 세 개를 쓰세요:
is_third_party(entry):site_of(entry["url"])가entry["top_site"]와 다르면True, 아니면False를 돌려줘요.audit(har): 리스트를 돌며 모든 서드파티 항목에 대해host_of(entry["url"])를 키로 하는 dict를 만들어요. 각 값은"requests"(그 호스트로 간 항목 수),"sites"(그것이 보인 서로 다른top_site값의 정렬된 리스트),"sets_cookies"(항목 중 하나라도 비어 있지 않은set_cookies리스트가 있으면True)가 있는 dict예요. dict를 돌려주세요. 퍼스트파티 항목은 빼요.watchers(report):audit의 dict를 받아 두 개 이상의 사이트 아래 보인 호스트의 리스트를 알파벳 순으로 돌려줘요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.