Conteúdo do curso Lição 90 de 156 · IA privada
IA privada

Embeddings também vazam

Por que isso importa Muitos recursos de IA transformam o seu texto em listas de números chamadas embeddings e depois as guardam num banco de dados para busca. É fácil pensar "são só números, não dados pessoais". Não são só números: eles podem revelar o que foi escrito, e se o registro de uma determinada pessoa está nos dados.

Um fingerprint do significado

Imagine um bibliotecário que, em vez de arquivar os livros pelo título, dá a cada um uma posição num mapa enorme: livros de receitas num canto, guias de viagem em outro, livros sobre culinária italiana perto dos dois. Dois livros próximos no mapa tratam de coisas parecidas. Um embedding é essa posição, para um trecho de texto.

Embedding: uma lista de números (muitas vezes centenas) que um modelo de IA produz a partir de um texto, de modo que textos com significados parecidos recebem listas parecidas. É como uma posição no mapa do significado.

Banco de dados vetorial: um banco de dados que guarda embeddings e encontra rapidamente os mais próximos de um novo. Ele alimenta a "busca por significado" e permite que assistentes de IA consultem os seus documentos.

Um exemplo minúsculo e inventado, com só três números por texto (os reais têm centenas):

notes = {
    "my knee hurts after running":   [0.91, 0.10, 0.02],
    "booked physio for my knee":     [0.88, 0.15, 0.05],
    "new recipe for lentil soup":    [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.

Vazamento 1: os números podem virar palavras de novo

Como os embeddings são feitos para capturar o significado, qualquer um que os tenha consegue descobrir muito. Pesquisadores mostraram que, com as ferramentas certas e acesso ao mesmo modelo, boa parte do texto original de textos curtos pode ser reconstruída a partir dos embeddings deles. Mesmo sem isso, alguém pode comparar os seus embeddings guardados com embeddings de palpites ("alguma nota é sobre uma lesão no joelho?") e ver quais estão perto.

Vazamento 2: inferência de pertencimento

Às vezes o segredo não é o que um registro diz, mas se ele existe. Se a busca por IA de uma clínica foi construída só com as anotações dos pacientes, descobrir "a anotação desta pessoa está ali" já revela que ela é paciente.

Inferência de pertencimento (membership inference): descobrir se um determinado registro fazia parte de um conjunto de dados, observando como um sistema responde a ele.

Aqui está a ideia simplificada. Suponha que uma ferramenta de busca retorne uma "pontuação de semelhança" de 0 a 1. Um atacante que já tem uma cópia de uma anotação (digamos, um e-mail vazado) pede à ferramenta que a encontre:

  • Se a anotação está no banco de dados, a melhor correspondência pontua cerca de 1,00, porque está correspondendo a si mesma.
  • Se a anotação não está lá, a melhor correspondência é só parecida, digamos 0,80.

Essa diferença responde à pergunta "esta pessoa está aqui?". O mesmo padrão aparece com modelos treinados: um modelo tende a ser mais confiante nos exemplos com que foi treinado do que nos novos, e um atacante consegue medir essa diferença.

Defesas

  • Trate os embeddings como dados pessoais. Proteja-os como o texto de onde vieram: controle de acesso, criptografia em repouso, exclusão quando o texto for excluído.
  • Tarje antes de gerar o embedding. O tarjador da lição anterior funciona aqui também: remova primeiro os nomes e os dados de contato.
  • Não mostre as pontuações brutas. Mostre os resultados, ou faixas arredondadas como "boa correspondência", para que ninguém perceba a autocorrespondência quase perfeita.
  • Mantenha o índice no dispositivo quando ele for para as anotações de uma única pessoa. Ninguém mais consegue consultá-lo.
  • Adicione ruído com cuidado ao treinar com dados de muitas pessoas. Isso se chama privacidade diferencial; a parte mais profunda do curso trata disso direito.

Um equívoco comum

"Nós só guardamos vetores, não texto, então nenhum dado pessoal é mantido." Os vetores foram feitos para preservar o significado. Se o significado era pessoal, os vetores também são.

Resumo

  • Um embedding é uma lista de números que captura o significado de um texto, guardada num banco de dados vetorial para busca.
  • Os embeddings podem vazar o conteúdo do texto, e podem ser comparados com palpites.
  • A inferência de pertencimento pergunta "este registro está nos dados?", muitas vezes percebendo correspondências perfeitas demais ou respostas confiantes demais.
  • Defenda-se tarjando primeiro, protegendo os embeddings como o texto original, escondendo as pontuações brutas e mantendo os índices pessoais no dispositivo.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.