연습 앱 감사하기
왜 중요한가 트래픽 캡처는 길고 지저분한 목록이에요. 그걸 쓸모 있는 것으로 바꾸는 실력은 단순해요: 모든 필드를 꺼내고, 그다음 "누가 받았나"와 "무엇이었나"로 나누기. 연습 피트니스 앱에 대해 그 감사를 쓸 거고, 같은 생각은 읽어도 되는 어떤 요청 기록에든 통해요.
연습 캡처
연습 앱은 FitFox로, 자기 사이트가 fitfox.example인 지어낸 걸음 수 측정기예요. 그 캡처는 Python 리스트예요. 각 항목은 가로채기 프록시가 기록할 법한 요청 하나예요:
from watched.leg5b_apps import fitness_app_log
log = fitness_app_log()
print(len(log)) # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
# 'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
# 'headers': {}, 'body': {}}
t는 앱을 연 뒤의 초예요. headers는 요청 헤더의 dict예요. body는 앱이 보낸 데이터로, 이미 dict로 디코딩돼 있어요(데이터를 주소에 싣는 GET 요청에서는 비어 있어요).
SDK(소프트웨어 개발 키트): 광고, 분석, 지도, 충돌 보고를 위해 앱에 넣은 다른 회사의 코드. 캡처에서 SDK는 그 회사 도메인으로 가는 요청으로 나타나요.
데이터가 숨는 세 곳
앱은 데이터 하나를 세 곳에 둘 수 있어요. 봉투 위에, 봉투에 붙인 메모지에, 또는 편지 안에 쓰는 것처럼요:
- 쿼리 문자열: URL의
?뒤 부분으로,&로 이어진name=value쌍. - 헤더:
X-Device-Id: D-7F3A9C같은 요청의 추가 라벨. - 본문:
POST요청의 주된 데이터.
Python의 표준 라이브러리가 쿼리 문자열을 나눠 줘요. urlsplit은 URL을 부분으로 나누고, parse_qsl은 쿼리를 (name, value) 쌍의 리스트로 바꿔요:
from urllib.parse import urlsplit, parse_qsl
parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname) # tiles.mapkit.example
print(parts.query) # lat=53.80&zoom=14
print(parse_qsl(parts.query)) # [('lat', '53.80'), ('zoom', '14')]
이름을 비교할 수 있게 하기
같은 생각이 본문에서는 device_id, 헤더에서는 X-Device-Id로 쓰일 수 있어요(X-는 "사용자 정의 헤더"를 뜻하던 오래된 버릇이에요). 비교하기 전에 모든 이름을 정규화하세요: 소문자로, -를 _로, 앞의 x_는 빼기. 연습 세계가 이걸 normalise_name으로 줘요:
from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id")) # device_id
값은 여러 타입으로 와요(본문에는 8412 같은 숫자가 있어요). 모든 값을 str(value)로 문자열로 바꿔서 모두 같은 방식으로 비교되게 하세요.
무엇이 무엇으로 치나
연습 세계는 정규화된 이름의 집합 둘도 줘요. IDENTIFIER_NAMES에는 여러분이나 휴대폰의 ID를 나르는 이름(device_id, user_id, idfa, email_sha256 등)이 있어요. LOCATION_NAMES에는 여러분이 어디 있는지 말하는 이름(lat, lon, city, postcode 등)이 있어요.
0으로 된 광고 ID: iPhone 앱에 추적하지 말라고 하거나 Android 광고 ID를 지우면, ID를 묻는 앱은 00000000-0000-0000-0000-000000000000을 얻어요. 그 값은 누구도 식별하지 않으니 식별자로 치지 않아요. ZERO_AD_ID에 있어요. 다음 레슨에서 왜 나타나는지 설명해요.
퍼스트파티인가 아닌가
요청의 호스트가 앱 자신의 것과 다른 사이트에 있으면 SDK로 가는 요청이에요. watched의 site_of가 사이트를 줘요: site_of("cdn.fitfox.example")은 "fitfox.example"이고, site_of("sdk.adco.example")은 "adco.example"이에요.
흔한 오해
"이상한 도메인으로 가는 요청만 중요하다." FitFox는 심박수와 정확한 위치를 자기 서버로 보내고, 해시된 이메일을 partners.fitfox.example로 보내요. 그 마지막 것은 퍼스트파티처럼 보이지만, 이름만으로는 누가 운영하는지 알 수 없어요. 여러분의 감사는 그걸 표시하지 않을 거예요. 다음 실습이 표시해요.
다른 언어로
JavaScript: URL과 URLSearchParams가 URL을 나눠요.
function allFields(entry) {
const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
const out = [];
for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
return out;
}
Go: net/url이 같은 일을 해요.
u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())
요약
- 요청 속 데이터는 세 곳에 숨어요: 쿼리 문자열, 헤더, 본문.
urlsplit과parse_qsl이 URL을 나누고, 이름을 정규화하면 비교할 수 있어요.- 0으로 된 광고 ID는 누구도 식별하지 않으니 세지 않아요.
- 사이트를 비교하면 대부분의 SDK를 찾지만, 퍼스트파티처럼 보이는 이름도 다른 누군가가 운영할 수 있어요.
함수 둘을 쓰세요.
all_fields(entry)는 기록 항목 하나에 대한(name, value)튜플 리스트를 반환해요: 먼저 URL 쿼리 문자열의 모든 쌍(순서대로), 그다음 모든 헤더, 그다음 모든 본문 항목. 각 이름은normalise_name을 거치고, 각 값은str()로 문자열이 돼요. 직접 쓰세요. 연습 세계의fields_of를 쓰지 마세요.audit(entries, app_site)는 키가 셋인 dict를 반환하고, 각각은 반복 없이 정렬된 리스트예요:"sdk_hosts":site_of(host)가app_site가 아닌 모든 호스트(urlsplit(url).hostname에서)"identifiers": 진짜 값(ZERO_AD_ID도 아니고 비어 있지도 않은)과 함께 나타나는IDENTIFIER_NAMES의 모든 필드 이름"location": 나타나는LOCATION_NAMES의 모든 필드 이름
report = audit(fitness_app_log(), "fitfox.example")을 돌리고 출력하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.