Эмбеддинги тоже утекают
Почему это важно Многие функции ИИ превращают ваш текст в списки чисел, называемые эмбеддингами, а затем хранят их в базе данных для поиска. Легко подумать: "это просто числа, а не персональные данные". Это не просто числа: они могут раскрыть, что было написано, и есть ли вообще в данных запись конкретного человека.
Отпечаток смысла
Представьте библиотекаря, который вместо того, чтобы расставлять книги по названиям, даёт каждой место на огромной карте: кулинарные книги в одном углу, путеводители в другом, книги об итальянской кухне рядом с обоими. Две книги рядом на карте - о похожем. Эмбеддинг - это такое место для куска текста.
Эмбеддинг: список чисел (часто сотни), который модель ИИ получает из текста так, что тексты с похожим смыслом получают похожие списки. Это как место на карте для смысла.
Векторная база данных: база данных, которая хранит эмбеддинги и быстро находит ближайшие к новому. На ней работает "поиск по смыслу", и она позволяет ИИ-ассистентам искать в ваших документах.
Крошечный вымышленный пример всего с тремя числами на текст (в настоящих их сотни):
notes = {
"my knee hurts after running": [0.91, 0.10, 0.02],
"booked physio for my knee": [0.88, 0.15, 0.05],
"new recipe for lentil soup": [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.
Утечка 1: числа можно превратить обратно в слова
Поскольку эмбеддинги созданы, чтобы улавливать смысл, любой, у кого они есть, может многое узнать. Исследователи показали, что при подходящих инструментах и доступе к той же модели большую часть исходной формулировки коротких текстов можно восстановить по их эмбеддингам. Даже без этого можно сравнить ваши сохранённые эмбеддинги с эмбеддингами догадок ("есть ли заметка о травме колена?") и посмотреть, какие близки.
Утечка 2: определение членства
Иногда секрет не в том, что говорит запись, а в том, существует ли она. Если ИИ-поиск клиники построен только по заметкам пациентов, то узнать, что "заметка этого человека там есть", уже значит раскрыть, что он пациент.
Определение членства: выяснение того, была ли конкретная запись частью набора данных, по тому, как система на неё реагирует.
Вот идея в упрощённом виде. Допустим, инструмент поиска возвращает "оценку сходства" от 0 до 1. Злоумышленник, у которого уже есть копия заметки (скажем, утёкшее письмо), просит инструмент её найти:
- Если заметка есть в базе, лучшее совпадение получает около 1.00, потому что совпадает само с собой.
- Если заметки там нет, лучшее совпадение лишь похоже, скажем 0.80.
Эта разница отвечает на вопрос "есть ли здесь этот человек?". Та же закономерность встречается у обученных моделей: модель обычно увереннее на примерах, на которых её обучали, чем на новых, и злоумышленник может измерить эту разницу.
Защиты
- Считайте эмбеддинги персональными данными. Защищайте их как текст, из которого они получены: контроль доступа, шифрование при хранении, удаление при удалении текста.
- Маскируйте до получения эмбеддингов. Маскировщик из прошлого урока работает и здесь: сначала уберите имена и контактные данные.
- Не показывайте сырые оценки. Показывайте результаты или округлённые уровни вроде "хорошее совпадение", чтобы никто не заметил почти идеальное совпадение с самим собой.
- Держите индекс на устройстве, когда он для собственных заметок одного человека. Никто другой не сможет к нему обращаться.
- Добавляйте аккуратный шум при обучении на данных многих людей. Это называется дифференциальной приватностью; углублённая половина курса разбирает её как следует.
Распространённое заблуждение
"Мы храним только векторы, а не текст, поэтому персональные данные не хранятся." Векторы были созданы, чтобы сохранять смысл. Если смысл был личным, векторы тоже личные.
Итоги
- Эмбеддинг - это список чисел, который улавливает смысл текста и хранится в векторной базе данных для поиска.
- Эмбеддинги могут выдать содержание текста, и их можно сравнивать с догадками.
- Определение членства задаёт вопрос "есть ли эта запись в данных?", часто замечая необычно идеальные совпадения или уверенные ответы.
- Защищайтесь, маскируя заранее, защищая эмбеддинги как исходный текст, скрывая сырые оценки и держа личные индексы на устройстве.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.