Программа курса Урок 90 из 156 · Приватный ИИ
Приватный ИИ

Эмбеддинги тоже утекают

Почему это важно Многие функции ИИ превращают ваш текст в списки чисел, называемые эмбеддингами, а затем хранят их в базе данных для поиска. Легко подумать: "это просто числа, а не персональные данные". Это не просто числа: они могут раскрыть, что было написано, и есть ли вообще в данных запись конкретного человека.

Отпечаток смысла

Представьте библиотекаря, который вместо того, чтобы расставлять книги по названиям, даёт каждой место на огромной карте: кулинарные книги в одном углу, путеводители в другом, книги об итальянской кухне рядом с обоими. Две книги рядом на карте - о похожем. Эмбеддинг - это такое место для куска текста.

Эмбеддинг: список чисел (часто сотни), который модель ИИ получает из текста так, что тексты с похожим смыслом получают похожие списки. Это как место на карте для смысла.

Векторная база данных: база данных, которая хранит эмбеддинги и быстро находит ближайшие к новому. На ней работает "поиск по смыслу", и она позволяет ИИ-ассистентам искать в ваших документах.

Крошечный вымышленный пример всего с тремя числами на текст (в настоящих их сотни):

notes = {
    "my knee hurts after running":   [0.91, 0.10, 0.02],
    "booked physio for my knee":     [0.88, 0.15, 0.05],
    "new recipe for lentil soup":    [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.

Утечка 1: числа можно превратить обратно в слова

Поскольку эмбеддинги созданы, чтобы улавливать смысл, любой, у кого они есть, может многое узнать. Исследователи показали, что при подходящих инструментах и доступе к той же модели большую часть исходной формулировки коротких текстов можно восстановить по их эмбеддингам. Даже без этого можно сравнить ваши сохранённые эмбеддинги с эмбеддингами догадок ("есть ли заметка о травме колена?") и посмотреть, какие близки.

Утечка 2: определение членства

Иногда секрет не в том, что говорит запись, а в том, существует ли она. Если ИИ-поиск клиники построен только по заметкам пациентов, то узнать, что "заметка этого человека там есть", уже значит раскрыть, что он пациент.

Определение членства: выяснение того, была ли конкретная запись частью набора данных, по тому, как система на неё реагирует.

Вот идея в упрощённом виде. Допустим, инструмент поиска возвращает "оценку сходства" от 0 до 1. Злоумышленник, у которого уже есть копия заметки (скажем, утёкшее письмо), просит инструмент её найти:

  • Если заметка есть в базе, лучшее совпадение получает около 1.00, потому что совпадает само с собой.
  • Если заметки там нет, лучшее совпадение лишь похоже, скажем 0.80.

Эта разница отвечает на вопрос "есть ли здесь этот человек?". Та же закономерность встречается у обученных моделей: модель обычно увереннее на примерах, на которых её обучали, чем на новых, и злоумышленник может измерить эту разницу.

Защиты

  • Считайте эмбеддинги персональными данными. Защищайте их как текст, из которого они получены: контроль доступа, шифрование при хранении, удаление при удалении текста.
  • Маскируйте до получения эмбеддингов. Маскировщик из прошлого урока работает и здесь: сначала уберите имена и контактные данные.
  • Не показывайте сырые оценки. Показывайте результаты или округлённые уровни вроде "хорошее совпадение", чтобы никто не заметил почти идеальное совпадение с самим собой.
  • Держите индекс на устройстве, когда он для собственных заметок одного человека. Никто другой не сможет к нему обращаться.
  • Добавляйте аккуратный шум при обучении на данных многих людей. Это называется дифференциальной приватностью; углублённая половина курса разбирает её как следует.

Распространённое заблуждение

"Мы храним только векторы, а не текст, поэтому персональные данные не хранятся." Векторы были созданы, чтобы сохранять смысл. Если смысл был личным, векторы тоже личные.

Итоги

  • Эмбеддинг - это список чисел, который улавливает смысл текста и хранится в векторной базе данных для поиска.
  • Эмбеддинги могут выдать содержание текста, и их можно сравнивать с догадками.
  • Определение членства задаёт вопрос "есть ли эта запись в данных?", часто замечая необычно идеальные совпадения или уверенные ответы.
  • Защищайтесь, маскируя заранее, защищая эмбеддинги как исходный текст, скрывая сырые оценки и держа личные индексы на устройстве.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.