课程大纲 第 90 课,共 156 课 · 私密 AI
私密 AI

嵌入向量也会泄露

为什么重要 许多 AI 功能会把你的文本变成叫作嵌入向量的数字列表,然后把它们存进数据库用于搜索。人们很容易以为“它们只是数字,不是个人数据”。它们不只是数字:它们能暴露写了什么,以及某个特定的人的记录是否在数据里。

意义的指纹

想象一位图书管理员,她不是按书名给书归档,而是在一张巨大的地图上给每本书一个位置:食谱在一个角落,旅行指南在另一个角落,讲意大利烹饪的书靠近两者。在地图上挨得很近的两本书讲的是相似的东西。嵌入向量就是一段文本的那个位置。

嵌入向量:一个 AI 模型从一段文本生成的数字列表(常常有几百个),意义相近的文本会得到相近的列表。它就像意义的地图坐标。

向量数据库:一种存储嵌入向量、并能快速找到离一个新向量最近的那些向量的数据库。它支撑着“按意义搜索”,并让 AI 助手能够查找你的文档。

一个每段文本只有三个数字的小小的编造例子(真实的有几百个):

notes = {
    "my knee hurts after running":   [0.91, 0.10, 0.02],
    "booked physio for my knee":     [0.88, 0.15, 0.05],
    "new recipe for lentil soup":    [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.

泄露 1:数字可以被变回文字

因为嵌入向量就是为了捕捉意义而设计的,任何拥有它们的人都能了解到很多东西。研究人员已经证明,借助合适的工具并能访问同一个模型,可以从嵌入向量中重建出短文本原有措辞的大部分。即使不这样做,别人也可以把你存储的嵌入向量和一些猜测的嵌入向量(“有没有哪条笔记是关于膝盖受伤的?”)进行比较,看看哪些离得近。

泄露 2:成员推断

有时秘密不在于一条记录说了什么,而在于它是否存在。如果一家诊所的 AI 搜索只用病人的笔记构建,那么得知“这个人的笔记在里面”就已经暴露了他们是一位病人。

成员推断:通过观察一个系统对某条特定记录的反应,推断出这条记录是否属于某个数据集。

下面是这个想法的简化版。假设一个搜索工具会返回一个从 0 到 1 的“相似度分数”。一个已经拿到一份笔记副本(比如一封泄露的电子邮件)的攻击者,让这个工具去查找它:

  • 如果这份笔记在数据库里,最佳匹配的分数约为 1.00,因为它在和自己匹配。
  • 如果这份笔记不在那里,最佳匹配只是相似而已,比如 0.80。

这个差距回答了“这个人在不在里面?”的问题。同样的规律也出现在训练好的模型上:模型对它训练过的例子往往比对新的例子更有把握,而攻击者可以测量出这种差别。

防御

  • 把嵌入向量当作个人数据。像保护生成它们的文本那样保护它们:访问控制、静态加密、在文本被删除时一并删除。
  • 先脱敏,再生成嵌入向量。上一课的脱敏工具在这里也适用:先去掉名字和联系方式。
  • 不要显示原始分数。显示结果,或者像“匹配度高”这样经过取整的区间,这样就没人能发现那个近乎完美的自我匹配。
  • 把索引保留在设备上,如果它是为一个人自己的笔记服务的。这样别人就没法查询它。
  • 在用许多人的数据进行训练时,加入谨慎的噪声。这叫作差分隐私;课程深入的那一半会好好讲它。

一个常见的误解

“我们只存储向量,不存储文本,所以没有保留任何个人数据。”这些向量就是为了保留意义而生成的。如果意义是个人的,那么向量也是个人的。

回顾

  • 嵌入向量是一个捕捉文本意义的数字列表,存储在向量数据库里用于搜索。
  • 嵌入向量可能泄露文本的内容,也可以被拿来和猜测进行比较。
  • 成员推断问的是“这条记录在数据里吗?”,常常是通过发现异常完美的匹配或异常有把握的回答。
  • 防御之道是先脱敏、像保护原始文本那样保护嵌入向量、隐藏原始分数,以及把个人索引保留在设备上。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。