埋め込みも漏れる
なぜ大切か 多くの AI の機能は、テキストを埋め込みと呼ばれる数のリストに変え、検索のためにデータベースに保存します。「ただの数で、個人データではない」と考えるのは簡単です。ただの数ではありません。何が書かれたか、そして特定の人の記録がそもそもデータの中にあるかを明かしえます。
意味の指紋
本を題名で整理する代わりに、それぞれに巨大な地図の上の位置を与える司書を想像してください。料理の本はある隅に、旅行の案内は別の隅に、イタリア料理の本はその両方の近くに。地図で近くにある 2 冊の本は、似たことについてのものです。埋め込み は、テキストのかけらについてのその位置です。
埋め込み:AI のモデルがテキストから作る数のリスト(しばしば何百個)で、意味の似たテキストは似たリストを得ます。意味のための地図の位置のようなものです。
ベクトルデータベース:埋め込みを保存し、新しいものに最も近いものを素早く見つけるデータベースです。「意味で検索」を動かし、AI のアシスタントが文書を調べられるようにします。
テキストごとに 3 つの数しかない、でっち上げの小さな例です(本物には何百もあります):
notes = {
"my knee hurts after running": [0.91, 0.10, 0.02],
"booked physio for my knee": [0.88, 0.15, 0.05],
"new recipe for lentil soup": [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.
漏れ 1:数は言葉に戻せる
埋め込みは意味をとらえるよう設計されているので、それを持つ人は誰でも多くを知りえます。研究者は、正しい道具と同じモデルへのアクセスがあれば、短いテキストの元の言い回しの多くを、その埋め込みから組み立て直せることを示してきました。それがなくても、保存された埋め込みを推測の埋め込み(「膝のけがについてのメモはある?」)と比べ、どれが近いかを見られます。
漏れ 2:所属の推論
秘密は、記録が 何を 言うかではなく、それが存在するかどうか であることもあります。診療所の AI の検索が患者のメモだけから作られていれば、「この人のメモがそこにある」とわかるだけで、その人が患者だと明かされます。
所属の推論:システムがある記録にどう反応するかを見ることで、その記録がデータセットの一部だったかを突き止めることです。
考え方を単純にして示します。検索の道具が 0 から 1 の「類似度の点数」を返すとしましょう。すでにメモの写し(例えば漏れたメール)を持っている攻撃者が、道具にそれを見つけるよう頼みます:
- メモがデータベースに ある なら、自分自身と一致するので、最良の一致はおよそ 1.00 の点数になります。
- メモがそこに ない なら、最良の一致は似ているだけで、例えば 0.80 です。
その差が「この人はここにいるか?」という問いに答えます。学習したモデルにも同じパターンが現れます。モデルは、新しいものより学習した例でより確信を持ちがちで、攻撃者はその違いを測れます。
防御
- 埋め込みを個人データとして扱う。 元のテキストと同じように守ります。アクセスの制御、保存時の暗号化、テキストを消したら一緒に消すこと。
- 埋め込む前に伏せ字にする。 前のレッスンの伏せ字の道具がここでも働きます。まず名前と連絡先の細部を取り除きます。
- 生の点数を見せない。 結果か、「よく一致」のような丸めた区分を見せ、誰もほぼ完璧な自己一致を見つけられないようにします。
- ひとりの人自身のメモのためのものなら、索引を端末の上に保つ。ほかの誰もそれに問い合わせられません。
- 多くの人のデータで学習するときは 慎重な雑音を加える。これは 差分プライバシー と呼ばれ、コースの深い後半できちんと扱います。
よくある誤解
「保存しているのはベクトルだけでテキストではないので、個人データは保たれていない」。ベクトルは意味を保つために作られました。意味が個人的なものなら、ベクトルも個人的なものです。
まとめ
- 埋め込みはテキストの意味をとらえた数のリストで、検索のためにベクトルデータベースに保存されます。
- 埋め込みはテキストの内容を漏らしえ、推測と比べられえます。
- 所属の推論は「この記録はデータにあるか?」を尋ね、しばしば不自然に完璧な一致や確信のある答えを見つけることで行います。
- まず伏せ字にし、埋め込みを元のテキストと同じように守り、生の点数を隠し、個人の索引を端末の上に保って防ぎます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。