把 SDK 和它们的主人对应起来
为什么重要 主机不等于公司。一家公司可以使用许多个主机,而一个看起来像应用自己的主机可能属于别人。按主人对一次捕获进行分组,并把每个主人收到的东西加起来,就能把一份请求清单变成你真正关心的那个问题的答案:谁了解到了我的什么?
地址与房东
主机名就像一个街道地址;主人就是房东。events.metrics.example 和 cdn.metrics.example 是同一位房东的两个地址。而 partners.fitfox.example 虽然位于 FitFox 的街道上,却由另一位房东(AdCo)租用。这就是你在第 1 阶段见过的 CNAME 伪装的应用版本。
域名映射表:一份说明哪家公司运营哪个主机或站点的列表。真实的映射表由研究者和跟踪器拦截项目构建;我们的则是 SDK_OWNERS,练习世界里的一个普通字典。
from watched.leg5b_apps import SDK_OWNERS
print(SDK_OWNERS["adco.example"]) # AdCo
print(SDK_OWNERS["partners.fitfox.example"]) # AdCo
print(SDK_OWNERS["fitfox.example"]) # FitFox
最具体的优先
要找到 a.b.adco.example 的主人,先尝试完整的名字,然后去掉最左边的标签(一个标签就是由点分隔的一段),再试一次:b.adco.example,然后是 adco.example。在第一次匹配时停下。在只剩下像 example 这样的单个标签之前停下,因为没有人拥有它。如果什么都没匹配上,主人就是 "Unknown",而一个未知的主人值得更多的关注,而不是更少。
labels = "a.b.adco.example".split(".") # ['a', 'b', 'adco', 'example']
print(".".join(labels[1:])) # b.adco.example
最具体的优先,正是抓住 partners.fitfox.example 的关键:它的完整名字在映射表里对应的是 AdCo,所以你永远不会退回到 FitFox。
一张数据共享图
数据共享图:一张从每家公司到它收到的数据种类的映射。在这里我们把它保存为一个字典,主人 -> 排好序的种类列表。
练习世界给了你 fields_of(entry)(和你在上一课写的 all_fields 一样)以及 DATA_KINDS,它说明一个字段名携带的是哪一种数据:
from watched.leg5b_apps import DATA_KINDS
print(DATA_KINDS["heart_rate"]) # health
print(DATA_KINDS.get("slot")) # None (not personal, ignore it)
种类有 identifier、location、health、contact 和 viewing。和以前一样,值为 ZERO_AD_ID(或为空)的标识符字段不计入。应用联系过的每一个主人都会出现在图里,即使列表是空的,因为仅仅一次连接就会交出你的 IP 地址和时间。
一个可以比较的分数
一个单独的数字能让你一眼比较两个应用。我们的分数是故意设计得很简单的:对于应用自己公司以外的每一个主人,联系一次加 1 分,再为它收到的每一种数据加上来自 KIND_WEIGHTS 的权重(identifier 2、location 3、health 3、contact 3、viewing 2)。FitFox 得 26 分。
真正的研究者会用不同的方式来权衡,而且没有任何分数能涵盖一切。分数是一个对话的开头:比起作为一个定论,它更适合用来说“这个应用分享的东西是那个应用的两倍”。
一个常见的误解
“主机越多,分享就越多。”一个应用可能使用了十个全部由它自己运营的主机,以及一个由数据经纪商运营的主机。统计主人以及他们收到了什么,比统计主机更接近真相。
用其他语言实现
JavaScript
function ownerOf(host, owners) {
const labels = host.toLowerCase().split(".");
for (let i = 0; i < labels.length - 1; i++) {
const name = labels.slice(i).join(".");
if (name in owners) return owners[name];
}
return "Unknown";
}
Rust
fn owner_of(host: &str, owners: &HashMap<&str, &str>) -> String {
let labels: Vec<&str> = host.split('.').collect();
for i in 0..labels.len().saturating_sub(1) {
if let Some(o) = owners.get(labels[i..].join(".").as_str()) {
return o.to_string();
}
}
"Unknown".to_string()
}
回顾
- 按主人而不是按主机分组:一家公司有许多个主机,而一个看起来很熟悉的主机可能属于别人。
- 先查找最具体的名字,然后逐个去掉标签;没有匹配就意味着“Unknown”。
- 数据共享图为每个主人列出它收到的数据种类。
- 一个简单的分数有助于比较应用,但它是一个起点,而不是一个定论。
编写三个函数。
owner_of(host, owners):在字典owners中查找host;如果没有,就去掉最左边的标签再试一次,在只剩下单个标签之前停下。返回找到的第一个主人,或者"Unknown"。sharing_graph(entries, owners):返回一个字典,把联系过的每一个主人(使用来自urlsplit(url).hostname的主机)映射到它收到的数据种类组成的排好序、没有重复的列表。使用fields_of和DATA_KINDS;跳过不在DATA_KINDS中的名字,并跳过值为ZERO_AD_ID或为空的标识符字段。没有收到任何个人信息的主人仍然要出现,对应[]。sharing_score(graph, app_owner):对于除app_owner之外的每一个主人,加 1,再为它的每一种数据加上KIND_WEIGHTS[kind]。返回总分。
graph = sharing_graph(fitness_app_log(), SDK_OWNERS),score = sharing_score(graph, "FitFox"),并把两者都打印出来。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。