审计一个练习应用
为什么重要 一次流量捕获是一份又长又乱的清单。把它变成有用东西的技能很简单:把每一个字段都取出来,然后把它们分成“谁收到了它”和“它是什么”。你将为一个练习用的健身应用写出这样的审计,而同样的想法适用于任何你被允许阅读的请求日志。
练习捕获
我们的练习应用是 FitFox,一个编造的计步器,它自己的网站是 fitfox.example。它的捕获是一个 Python 列表。每一项都是一个请求,就像一个拦截代理会记录下来的那样:
from watched.leg5b_apps import fitness_app_log
log = fitness_app_log()
print(len(log)) # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
# 'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
# 'headers': {}, 'body': {}}
t 是从应用打开时起的秒数。headers 是一个由请求头组成的字典。body 是应用发送的数据,已经被解码成一个字典(对于 GET 请求它是空的,因为它们把数据放在地址里携带)。
SDK(软件开发工具包):来自另一家公司、被构建进一个应用里的代码,用于广告、分析、地图或崩溃报告。在捕获里,一个 SDK 表现为发往那家公司域名的请求。
数据藏身的三个地方
一个应用可以把一项数据放在三个地方,就像写在信封上、写在贴在信封上的便利贴上,或者写在信里:
- 查询字符串:URL 中
?之后的部分,形式是用&连接的name=value对。 - 请求头:请求上额外的标签,比如
X-Device-Id: D-7F3A9C。 - 正文:一个
POST请求的主要数据。
Python 的标准库会替你切分查询字符串。urlsplit 把一个 URL 拆成几个部分,而 parse_qsl 把查询变成一个由 (name, value) 对组成的列表:
from urllib.parse import urlsplit, parse_qsl
parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname) # tiles.mapkit.example
print(parts.query) # lat=53.80&zoom=14
print(parse_qsl(parts.query)) # [('lat', '53.80'), ('zoom', '14')]
让名字可以比较
同一个概念在正文里可能拼作 device_id,在请求头里则是 X-Device-Id(X- 是一个表示“自定义请求头”的老习惯)。在比较之前,先规范化每一个名字:转成小写,把 - 变成 _,并去掉开头的 x_。练习世界把这个功能作为 normalise_name 提供给你:
from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id")) # device_id
值的类型各不相同(正文里有像 8412 这样的数字)。用 str(value) 把每一个值都变成字符串,这样它们都能以同样的方式进行比较。
什么算作什么
练习世界还给了你两个由规范化后的名字组成的集合。IDENTIFIER_NAMES 装着那些携带你或你手机的 ID 的名字(device_id、user_id、idfa、email_sha256 等等)。LOCATION_NAMES 装着那些说明你在哪里的名字(lat、lon、city、postcode 等等)。
被清零的广告 ID:当你告诉一个 iPhone 应用不要跟踪你,或者删除了你的 Android 广告 ID 时,索要这个 ID 的应用会得到 00000000-0000-0000-0000-000000000000。这个值识别不出任何人,所以它不算作一个标识符。它就在 ZERO_AD_ID 里。下一课会解释它为什么会出现。
是不是第一方
当一个请求的主机和应用自己的主机位于不同的站点上时,它就是发往一个 SDK 的请求。来自 watched 的 site_of 会给出站点:site_of("cdn.fitfox.example") 是 "fitfox.example",而 site_of("sdk.adco.example") 是 "adco.example"。
一个常见的误解
“只有发往陌生域名的请求才重要。”FitFox 会把你的心率和精确位置发给它自己的服务器,并把一个哈希过的电子邮件发给 partners.fitfox.example。最后那一个看起来是第一方的,但仅凭名字没法告诉你是谁在运营它。你的审计不会标记它;下一个练习会。
用其他语言实现
JavaScript:URL 和 URLSearchParams 会切分一个 URL。
function allFields(entry) {
const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
const out = [];
for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
return out;
}
Go:net/url 做同样的工作。
u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())
回顾
- 请求中的数据藏在三个地方:查询字符串、请求头和正文。
urlsplit和parse_qsl会切分一个 URL;规范化名字能让你比较它们。- 被清零的广告 ID 识别不出任何人,所以它不计入。
- 比较站点能找出大多数 SDK,但一个看起来像第一方的名字仍然可能由别人运营。
编写两个函数。
all_fields(entry)为一条日志条目返回一个由(name, value)元组组成的列表:先是 URL 查询字符串中的每一对(按顺序),然后是每一个请求头,然后是每一项正文。每个名字都要经过normalise_name,每个值都用str()变成字符串。自己写这部分;不要使用练习世界的fields_of。audit(entries, app_site)返回一个有三个键的字典,每一个都是一个排好序、没有重复的列表:"sdk_hosts":每一个site_of(host)不是app_site的主机(来自urlsplit(url).hostname);"identifiers":每一个在IDENTIFIER_NAMES中、并且带着一个真实值(不是ZERO_AD_ID,也不为空)出现的字段名;"location":每一个在LOCATION_NAMES中出现的字段名。
report = audit(fitness_app_log(), "fitfox.example") 并把它打印出来。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。