Conteúdo do curso Lição 134 de 156 · Tecnologia de privacidade além do bloqueio
Tecnologia de privacidade além do bloqueio

Privacidade diferencial direito

Por que isso importa "Nós só publicamos estatísticas anônimas" costumava parecer seguro. Antes neste curso você viu que perguntas espertas sobre um conjunto de dados ainda podem destacar uma pessoa. A privacidade diferencial é a ferramenta que põe um limite firme e mensurável nisso, e a ideia central dela, o orçamento de privacidade, é algo que você consegue implementar numa tarde.

Código didático, não para uso real: a aleatoriedade dos laboratórios deste módulo tem semente para que a avaliação seja repetível, o que sistemas de privacidade reais nunca devem fazer. Sistemas reais usam bibliotecas de privacidade diferencial verificadas, que também tratam arredondamentos e outros vazamentos sutis. Nunca copie código didático para um produto.

A promessa

Imagine uma pesquisa publicada com e sem a sua resposta. Se os dois resultados publicados parecem quase iguais, ninguém que os leia consegue saber se você participou, muito menos o que você disse. Essa é a promessa inteira.

Privacidade diferencial (DP): uma garantia de que o resultado de uma análise mal muda, com ou sem os dados de qualquer pessoa. Ela é obtida somando um ruído aleatório de tamanho bem calculado.

Epsilon: o número que diz o que "mal muda" significa. Um epsilon pequeno (digamos 0,1) significa muito ruído e privacidade forte; um epsilon grande (digamos 5) significa pouco ruído e privacidade fraca. Para uma contagem simples, somar ruído de Laplace com escala 1 / epsilon dá epsilon-DP, porque uma pessoa consegue mudar uma contagem em no máximo 1.

O orçamento

Aqui está o porém. Faça a mesma pergunta com ruído muitas vezes e tire a média das respostas: o ruído se cancela, como a lição de matemática mostrou, e a contagem verdadeira aparece. Então cada resposta vaza um pouco, e os vazamentos se somam.

Composição: quando você responde várias perguntas sobre as mesmas pessoas, os epsilons delas se somam. Responder com epsilon 0,25 quatro vezes custa 1,0 no total.

Orçamento de privacidade: o epsilon total que você permite para um conjunto de dados. Cada resposta gasta um pouco. Quando o orçamento acaba, você para de responder, por mais educadamente que o analista peça.

Pense num cartão pré-pago: cada pergunta custa alguma coisa, o saldo só desce, e uma pergunta recusada não custa nada. A contabilidade é o que você vai construir. O ruído vem pronto de laplace(scale, rng) no mundo de prática.

DP local e central no mundo real

DP local: cada dispositivo adiciona ruído antes de enviar qualquer coisa, então a empresa nunca guarda os valores verdadeiros (a resposta aleatorizada é DP local). DP central: um servidor de confiança guarda os dados verdadeiros e adiciona ruído só aos resultados que publica.

A Apple anunciou em 2016 que usa privacidade diferencial local para descobrir coisas como palavras novas e emojis populares a partir dos dispositivos, sem coletar o que cada pessoa digitou. O sistema inicial do Google, o RAPPOR (2014), também era local, usado para coletar estatísticas do navegador dele. A DP local precisa de muito ruído por pessoa, então só dá respostas úteis para multidões muito grandes e valores bem comuns. Boa parte do trabalho publicado depois pelo Google, como a biblioteca de privacidade diferencial de código aberto dele (2019), usa o modelo central, em que é preciso bem menos ruído para o mesmo epsilon, ao preço de confiar ao servidor os dados brutos.

Nenhum dos modelos é "o certo". A DP local protege você até da empresa; a DP central dá estatísticas mais precisas. A agregação segura, duas lições adiante, é um jeito de ter um pouco dos dois.

Em outras linguagens

A mesma verificação de orçamento em JavaScript:

function spend(budget, epsilon) {
  if (epsilon <= 0) return false;
  if (budget.spent + epsilon > budget.total + 1e-9) return false;
  budget.spent += epsilon;
  budget.log.push(epsilon);
  return true;
}

E em Rust, em que as regras de empréstimo deixam explícito "não mude nada ao recusar":

fn spend(b: &mut Budget, eps: f64) -> bool {
    if eps <= 0.0 || b.spent + eps > b.total + 1e-9 { return false; }
    b.spent += eps;
    b.log.push(eps);
    true
}

Por que o 1e-9?

Os computadores guardam números decimais de forma aproximada: 0.1 + 0.2 é 0.30000000000000004 em Python. Sem uma pequena folga, gastar exatamente o orçamento inteiro em passos pequenos poderia ser recusado por engano. Bibliotecas reais tratam isso com mais cuidado; uma pequena folga basta aqui.

Um equívoco comum

"Ruído significa que os números publicados estão errados, então a DP é inútil." O ruído é dimensionado para esconder uma pessoa, não a tendência. Uma contagem de 412 publicada como 409 ou 415 ainda diz à loja quais páginas são populares, enquanto a contagem de 31 visitantes de uma página sensível não pode ser usada para confirmar que uma pessoa específica era um deles.

Resumo

  • A DP promete que os resultados mal mudam com ou sem qualquer pessoa; o epsilon mede esse "mal".
  • Para uma contagem, ruído de Laplace com escala 1 / epsilon dá epsilon-DP.
  • Os epsilons se somam entre as perguntas, então um orçamento precisa ser acompanhado e cumprido, e as recusas não custam nada.
  • A DP local (ruído no dispositivo) não confia em ninguém, mas precisa de multidões enormes; a DP central é mais precisa, mas confia no servidor.
Sua vez

Escreva quatro funções que administram um orçamento de privacidade. make_budget(total) retorna {"total": total, "spent": 0.0, "log": []}. remaining(budget) retorna o total menos o gasto. spend(budget, epsilon) retorna False e não muda nada se epsilon não for um número finito acima de 0 (0, negativo, nan ou infinito: um nan que escapasse deixaria spent como nan, e toda verificação seguinte passaria, então o orçamento nunca acabaria), ou se gastá-lo levasse spent acima de total por mais de 1e-9; senão, soma epsilon a spent, acrescenta-o a log e retorna True. noisy_count(true_count, epsilon, budget, rng) retorna None se spend recusar; senão, retorna true_count + laplace(1 / epsilon, rng). A avaliação é da contabilidade, não dos números exatos com ruído.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.