身份图谱
为什么重要 一张会员卡知道你的电子邮件。一个购物应用知道你的手机号。一家快递公司知道你的地址。它们单独都不是一幅完整的画面,但一个把三者都买下来的数据经纪商,可以把它们拼接成关于你的一条记录。自己构建一个小版本,能准确地展示出是哪一项共同的细节完成了拼接,从而知道该停止分享哪一项细节。
一张由细绳织成的网
想象一块软木板上钉着一张张索引卡,每条记录一张。每当两张卡共享一个电子邮件地址、一个电话号码、一个设备 ID 或一个家庭住址时,你就在它们之间系上一根细绳。做完之后,每一团由细绳连起来的卡片,无论链条有多长,都是一个人。
数据经纪商:一家收集、购买和出售关于人的信息的公司,而这些人通常从没听说过它。
身份图谱:经纪商的一张地图,它把许多条记录(电子邮件、电话、设备、地址)和一个人联系起来。在数学里,图只是由线(这里是共同的细节)连起来的点(这里是记录)。
链条才是巧妙的地方。卡片 A 和卡片 B 共享一个电子邮件。卡片 B 和卡片 C 共享一个电话。A 和 C 没有任何共同之处,但它们最终还是落进了同一团里。一次简报注册就是这样被和你手机上的一个游戏拼接起来的,而这两者都从没看到过对方的数据。
练习记录
broker_records() 返回来自几个来源的编造记录:
{"id": "r014", "source": "survey", "name": "Sam Smith",
"email": " SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
"device": None, "address": None}
任何一项细节都可能缺失(None)。电子邮件会带着奇怪的空格和大写字母到来,所以必须先把它们规范化:用 .strip() 去掉首尾空格,并转成小写。电话号码应该只保留数字,这样“+44 7700 910283”和“447700910283”才能匹配。ch.isdigit() 会告诉你一个字符是不是数字。
顺着细绳走
分三步构建它:
- 索引:一个从每个
(field, value)对到拥有它的记录 id 的字典。同一个键下面的两个 id 就共享那项细节。 - 邻居:对每个记录 id,它与之共享任何东西的 id 组成的集合。
- 遍历:从一个还没有人访问过的记录开始,保留一个
to_visit列表,反复从中取出一个 id,把它标记为已访问,并加入它的邻居。你能到达的一切就是一组。
to_visit = ["r001"]
while to_visit: # keep going while the list is not empty
current = to_visit.pop() # take the last id off the list
...
用其他语言实现
经纪商和分析师常常使用一种叫作并查集(union-find)的结构来代替遍历。用 JavaScript:
const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)以及用 Go 实现同样的东西:
func find(parent map[string]string, x string) string {
for parent[x] != x {
x = parent[x]
}
return x
}一个诱人的错误
底部的脚本还会按 name 进行拼接。看着人数下降:两个都叫“Sam Smith”的不同的人被合并成了一个。真实的经纪商也会犯这种错误,这就是为什么他们关于人的档案常常是错的。一条错误的记录仍然可以被出售,并被拿来据此行事。
防御
拼接是通过你重复提供的细节发生的。为每家商店或每份简报使用一个不同的电子邮件别名(许多邮件服务都提供这项功能),只在真正需要时才提供电话号码,并避开那些把一个账号交给许多网站的“使用……登录”按钮。你没法阻止经纪商拉细绳,但你可以给它更少能匹配上的卡片。
回顾
- 身份图谱会拼接共享任何细节的记录,而由共同细节组成的链条,会拼接那些没有任何直接共同之处的记录。
- 规范化(去掉首尾空格、转成小写、只保留电话中的数字)正是让杂乱的数据能够匹配起来的东西。
- 像名字这样的弱键会把不同的人合并起来,所以经纪商的档案里包含错误。
- 重复提供的细节越少(别名、不给电话、分开的登录),拼接就越少。
编写两个函数。normalise(field, value) 对于 None 返回 None;否则去掉值的首尾空格并转成小写,当 field 是 "phone" 时只保留数字,如果什么都不剩就返回 None。link_records(records, keys) 返回一个由记录 id 集合组成的列表,每个人一个集合:当两条记录在 keys 中的任何一个字段上共享一个规范化后的值时,无论是直接共享还是通过其他记录组成的链条,它们都在同一个集合里。每个记录 id 恰好出现在一个集合里。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。