강의 계획 레슨 156개 중 109번째 · 앱과 기기
앱과 기기

연습 앱 감사하기

왜 중요한가 트래픽 캡처는 길고 지저분한 목록이에요. 그걸 쓸모 있는 것으로 바꾸는 실력은 단순해요: 모든 필드를 꺼내고, 그다음 "누가 받았나"와 "무엇이었나"로 나누기. 연습 피트니스 앱에 대해 그 감사를 쓸 거고, 같은 생각은 읽어도 되는 어떤 요청 기록에든 통해요.

연습 캡처

연습 앱은 FitFox로, 자기 사이트가 fitfox.example인 지어낸 걸음 수 측정기예요. 그 캡처는 Python 리스트예요. 각 항목은 가로채기 프록시가 기록할 법한 요청 하나예요:

from watched.leg5b_apps import fitness_app_log

log = fitness_app_log()
print(len(log))      # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
#  'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
#  'headers': {}, 'body': {}}

t는 앱을 연 뒤의 초예요. headers는 요청 헤더의 dict예요. body는 앱이 보낸 데이터로, 이미 dict로 디코딩돼 있어요(데이터를 주소에 싣는 GET 요청에서는 비어 있어요).

SDK(소프트웨어 개발 키트): 광고, 분석, 지도, 충돌 보고를 위해 앱에 넣은 다른 회사의 코드. 캡처에서 SDK는 그 회사 도메인으로 가는 요청으로 나타나요.

데이터가 숨는 세 곳

앱은 데이터 하나를 세 곳에 둘 수 있어요. 봉투 위에, 봉투에 붙인 메모지에, 또는 편지 안에 쓰는 것처럼요:

  1. 쿼리 문자열: URL의 ? 뒤 부분으로, &로 이어진 name=value 쌍.
  2. 헤더: X-Device-Id: D-7F3A9C 같은 요청의 추가 라벨.
  3. 본문: POST 요청의 주된 데이터.

Python의 표준 라이브러리가 쿼리 문자열을 나눠 줘요. urlsplit은 URL을 부분으로 나누고, parse_qsl은 쿼리를 (name, value) 쌍의 리스트로 바꿔요:

from urllib.parse import urlsplit, parse_qsl

parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname)          # tiles.mapkit.example
print(parts.query)             # lat=53.80&zoom=14
print(parse_qsl(parts.query))  # [('lat', '53.80'), ('zoom', '14')]

이름을 비교할 수 있게 하기

같은 생각이 본문에서는 device_id, 헤더에서는 X-Device-Id로 쓰일 수 있어요(X-는 "사용자 정의 헤더"를 뜻하던 오래된 버릇이에요). 비교하기 전에 모든 이름을 정규화하세요: 소문자로, -를 _로, 앞의 x_는 빼기. 연습 세계가 이걸 normalise_name으로 줘요:

from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id"))   # device_id

값은 여러 타입으로 와요(본문에는 8412 같은 숫자가 있어요). 모든 값을 str(value)로 문자열로 바꿔서 모두 같은 방식으로 비교되게 하세요.

무엇이 무엇으로 치나

연습 세계는 정규화된 이름의 집합 둘도 줘요. IDENTIFIER_NAMES에는 여러분이나 휴대폰의 ID를 나르는 이름(device_id, user_id, idfa, email_sha256 등)이 있어요. LOCATION_NAMES에는 여러분이 어디 있는지 말하는 이름(lat, lon, city, postcode 등)이 있어요.

0으로 된 광고 ID: iPhone 앱에 추적하지 말라고 하거나 Android 광고 ID를 지우면, ID를 묻는 앱은 00000000-0000-0000-0000-000000000000을 얻어요. 그 값은 누구도 식별하지 않으니 식별자로 치지 않아요. ZERO_AD_ID에 있어요. 다음 레슨에서 왜 나타나는지 설명해요.

퍼스트파티인가 아닌가

요청의 호스트가 앱 자신의 것과 다른 사이트에 있으면 SDK로 가는 요청이에요. watched의 site_of가 사이트를 줘요: site_of("cdn.fitfox.example")은 "fitfox.example"이고, site_of("sdk.adco.example")은 "adco.example"이에요.

흔한 오해

"이상한 도메인으로 가는 요청만 중요하다." FitFox는 심박수와 정확한 위치를 자기 서버로 보내고, 해시된 이메일을 partners.fitfox.example로 보내요. 그 마지막 것은 퍼스트파티처럼 보이지만, 이름만으로는 누가 운영하는지 알 수 없어요. 여러분의 감사는 그걸 표시하지 않을 거예요. 다음 실습이 표시해요.

다른 언어로

JavaScript: URL과 URLSearchParams가 URL을 나눠요.

function allFields(entry) {
  const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
  const out = [];
  for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
  for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
  for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
  return out;
}

Go: net/url이 같은 일을 해요.

u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
    for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())

요약

  • 요청 속 데이터는 세 곳에 숨어요: 쿼리 문자열, 헤더, 본문.
  • urlsplit과 parse_qsl이 URL을 나누고, 이름을 정규화하면 비교할 수 있어요.
  • 0으로 된 광고 ID는 누구도 식별하지 않으니 세지 않아요.
  • 사이트를 비교하면 대부분의 SDK를 찾지만, 퍼스트파티처럼 보이는 이름도 다른 누군가가 운영할 수 있어요.
내 차례

함수 둘을 쓰세요.

  1. all_fields(entry)는 기록 항목 하나에 대한 (name, value) 튜플 리스트를 반환해요: 먼저 URL 쿼리 문자열의 모든 쌍(순서대로), 그다음 모든 헤더, 그다음 모든 본문 항목. 각 이름은 normalise_name을 거치고, 각 값은 str()로 문자열이 돼요. 직접 쓰세요. 연습 세계의 fields_of를 쓰지 마세요.
  2. audit(entries, app_site)는 키가 셋인 dict를 반환하고, 각각은 반복 없이 정렬된 리스트예요:
    • "sdk_hosts": site_of(host)가 app_site가 아닌 모든 호스트(urlsplit(url).hostname에서)
    • "identifiers": 진짜 값(ZERO_AD_ID도 아니고 비어 있지도 않은)과 함께 나타나는 IDENTIFIER_NAMES의 모든 필드 이름
    • "location": 나타나는 LOCATION_NAMES의 모든 필드 이름
마지막으로 report = audit(fitness_app_log(), "fitfox.example")을 돌리고 출력하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.