课程大纲 第 111 课,共 156 课 · 应用与设备
应用与设备

把 SDK 和它们的主人对应起来

为什么重要 主机不等于公司。一家公司可以使用许多个主机,而一个看起来像应用自己的主机可能属于别人。按主人对一次捕获进行分组,并把每个主人收到的东西加起来,就能把一份请求清单变成你真正关心的那个问题的答案:谁了解到了我的什么?

地址与房东

主机名就像一个街道地址;主人就是房东。events.metrics.example 和 cdn.metrics.example 是同一位房东的两个地址。而 partners.fitfox.example 虽然位于 FitFox 的街道上,却由另一位房东(AdCo)租用。这就是你在第 1 阶段见过的 CNAME 伪装的应用版本。

域名映射表:一份说明哪家公司运营哪个主机或站点的列表。真实的映射表由研究者和跟踪器拦截项目构建;我们的则是 SDK_OWNERS,练习世界里的一个普通字典。

from watched.leg5b_apps import SDK_OWNERS
print(SDK_OWNERS["adco.example"])            # AdCo
print(SDK_OWNERS["partners.fitfox.example"]) # AdCo
print(SDK_OWNERS["fitfox.example"])          # FitFox

最具体的优先

要找到 a.b.adco.example 的主人,先尝试完整的名字,然后去掉最左边的标签(一个标签就是由点分隔的一段),再试一次:b.adco.example,然后是 adco.example。在第一次匹配时停下。在只剩下像 example 这样的单个标签之前停下,因为没有人拥有它。如果什么都没匹配上,主人就是 "Unknown",而一个未知的主人值得更多的关注,而不是更少。

labels = "a.b.adco.example".split(".")   # ['a', 'b', 'adco', 'example']
print(".".join(labels[1:]))              # b.adco.example

最具体的优先,正是抓住 partners.fitfox.example 的关键:它的完整名字在映射表里对应的是 AdCo,所以你永远不会退回到 FitFox。

一张数据共享图

数据共享图:一张从每家公司到它收到的数据种类的映射。在这里我们把它保存为一个字典,主人 -> 排好序的种类列表。

练习世界给了你 fields_of(entry)(和你在上一课写的 all_fields 一样)以及 DATA_KINDS,它说明一个字段名携带的是哪一种数据:

from watched.leg5b_apps import DATA_KINDS
print(DATA_KINDS["heart_rate"])   # health
print(DATA_KINDS.get("slot"))     # None (not personal, ignore it)

种类有 identifier、location、health、contact 和 viewing。和以前一样,值为 ZERO_AD_ID(或为空)的标识符字段不计入。应用联系过的每一个主人都会出现在图里,即使列表是空的,因为仅仅一次连接就会交出你的 IP 地址和时间。

一个可以比较的分数

一个单独的数字能让你一眼比较两个应用。我们的分数是故意设计得很简单的:对于应用自己公司以外的每一个主人,联系一次加 1 分,再为它收到的每一种数据加上来自 KIND_WEIGHTS 的权重(identifier 2、location 3、health 3、contact 3、viewing 2)。FitFox 得 26 分。

真正的研究者会用不同的方式来权衡,而且没有任何分数能涵盖一切。分数是一个对话的开头:比起作为一个定论,它更适合用来说“这个应用分享的东西是那个应用的两倍”。

一个常见的误解

“主机越多,分享就越多。”一个应用可能使用了十个全部由它自己运营的主机,以及一个由数据经纪商运营的主机。统计主人以及他们收到了什么,比统计主机更接近真相。

用其他语言实现

JavaScript

function ownerOf(host, owners) {
  const labels = host.toLowerCase().split(".");
  for (let i = 0; i < labels.length - 1; i++) {
    const name = labels.slice(i).join(".");
    if (name in owners) return owners[name];
  }
  return "Unknown";
}

Rust

fn owner_of(host: &str, owners: &HashMap<&str, &str>) -> String {
    let labels: Vec<&str> = host.split('.').collect();
    for i in 0..labels.len().saturating_sub(1) {
        if let Some(o) = owners.get(labels[i..].join(".").as_str()) {
            return o.to_string();
        }
    }
    "Unknown".to_string()
}

回顾

  • 按主人而不是按主机分组:一家公司有许多个主机,而一个看起来很熟悉的主机可能属于别人。
  • 先查找最具体的名字,然后逐个去掉标签;没有匹配就意味着“Unknown”。
  • 数据共享图为每个主人列出它收到的数据种类。
  • 一个简单的分数有助于比较应用,但它是一个起点,而不是一个定论。
轮到你了

编写三个函数。

  1. owner_of(host, owners):在字典 owners 中查找 host;如果没有,就去掉最左边的标签再试一次,在只剩下单个标签之前停下。返回找到的第一个主人,或者 "Unknown"。
  2. sharing_graph(entries, owners):返回一个字典,把联系过的每一个主人(使用来自 urlsplit(url).hostname 的主机)映射到它收到的数据种类组成的排好序、没有重复的列表。使用 fields_of 和 DATA_KINDS;跳过不在 DATA_KINDS 中的名字,并跳过值为 ZERO_AD_ID 或为空的标识符字段。没有收到任何个人信息的主人仍然要出现,对应 []。
  3. sharing_score(graph, app_owner):对于除 app_owner 之外的每一个主人,加 1,再为它的每一种数据加上 KIND_WEIGHTS[kind]。返回总分。
然后设 graph = sharing_graph(fitness_app_log(), SDK_OWNERS),score = sharing_score(graph, "FitFox"),并把两者都打印出来。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。