Embeddings também vazam
Por que isso importa Muitos recursos de IA transformam o seu texto em listas de números chamadas embeddings e depois as guardam num banco de dados para busca. É fácil pensar "são só números, não dados pessoais". Não são só números: eles podem revelar o que foi escrito, e se o registro de uma determinada pessoa está nos dados.
Um fingerprint do significado
Imagine um bibliotecário que, em vez de arquivar os livros pelo título, dá a cada um uma posição num mapa enorme: livros de receitas num canto, guias de viagem em outro, livros sobre culinária italiana perto dos dois. Dois livros próximos no mapa tratam de coisas parecidas. Um embedding é essa posição, para um trecho de texto.
Embedding: uma lista de números (muitas vezes centenas) que um modelo de IA produz a partir de um texto, de modo que textos com significados parecidos recebem listas parecidas. É como uma posição no mapa do significado.
Banco de dados vetorial: um banco de dados que guarda embeddings e encontra rapidamente os mais próximos de um novo. Ele alimenta a "busca por significado" e permite que assistentes de IA consultem os seus documentos.
Um exemplo minúsculo e inventado, com só três números por texto (os reais têm centenas):
notes = {
"my knee hurts after running": [0.91, 0.10, 0.02],
"booked physio for my knee": [0.88, 0.15, 0.05],
"new recipe for lentil soup": [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.
Vazamento 1: os números podem virar palavras de novo
Como os embeddings são feitos para capturar o significado, qualquer um que os tenha consegue descobrir muito. Pesquisadores mostraram que, com as ferramentas certas e acesso ao mesmo modelo, boa parte do texto original de textos curtos pode ser reconstruída a partir dos embeddings deles. Mesmo sem isso, alguém pode comparar os seus embeddings guardados com embeddings de palpites ("alguma nota é sobre uma lesão no joelho?") e ver quais estão perto.
Vazamento 2: inferência de pertencimento
Às vezes o segredo não é o que um registro diz, mas se ele existe. Se a busca por IA de uma clínica foi construída só com as anotações dos pacientes, descobrir "a anotação desta pessoa está ali" já revela que ela é paciente.
Inferência de pertencimento (membership inference): descobrir se um determinado registro fazia parte de um conjunto de dados, observando como um sistema responde a ele.
Aqui está a ideia simplificada. Suponha que uma ferramenta de busca retorne uma "pontuação de semelhança" de 0 a 1. Um atacante que já tem uma cópia de uma anotação (digamos, um e-mail vazado) pede à ferramenta que a encontre:
- Se a anotação está no banco de dados, a melhor correspondência pontua cerca de 1,00, porque está correspondendo a si mesma.
- Se a anotação não está lá, a melhor correspondência é só parecida, digamos 0,80.
Essa diferença responde à pergunta "esta pessoa está aqui?". O mesmo padrão aparece com modelos treinados: um modelo tende a ser mais confiante nos exemplos com que foi treinado do que nos novos, e um atacante consegue medir essa diferença.
Defesas
- Trate os embeddings como dados pessoais. Proteja-os como o texto de onde vieram: controle de acesso, criptografia em repouso, exclusão quando o texto for excluído.
- Tarje antes de gerar o embedding. O tarjador da lição anterior funciona aqui também: remova primeiro os nomes e os dados de contato.
- Não mostre as pontuações brutas. Mostre os resultados, ou faixas arredondadas como "boa correspondência", para que ninguém perceba a autocorrespondência quase perfeita.
- Mantenha o índice no dispositivo quando ele for para as anotações de uma única pessoa. Ninguém mais consegue consultá-lo.
- Adicione ruído com cuidado ao treinar com dados de muitas pessoas. Isso se chama privacidade diferencial; a parte mais profunda do curso trata disso direito.
Um equívoco comum
"Nós só guardamos vetores, não texto, então nenhum dado pessoal é mantido." Os vetores foram feitos para preservar o significado. Se o significado era pessoal, os vetores também são.
Resumo
- Um embedding é uma lista de números que captura o significado de um texto, guardada num banco de dados vetorial para busca.
- Os embeddings podem vazar o conteúdo do texto, e podem ser comparados com palpites.
- A inferência de pertencimento pergunta "este registro está nos dados?", muitas vezes percebendo correspondências perfeitas demais ou respostas confiantes demais.
- Defenda-se tarjando primeiro, protegendo os embeddings como o texto original, escondendo as pontuações brutas e mantendo os índices pessoais no dispositivo.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.