Programma Lezione 134 di 156 · Tecnologie per la privacy oltre il blocco
Tecnologie per la privacy oltre il blocco

La privacy differenziale come si deve

Perché è importante "Pubblichiamo solo statistiche anonime" sembrava sicuro. Prima in questo corso hai visto che domande furbe su un insieme di dati possono comunque isolare una persona. La privacy differenziale è lo strumento che mette un limite rigido e misurabile a questo, e la sua idea centrale, il budget di privacy, è qualcosa che puoi implementare in un pomeriggio.

Codice didattico, non per uso reale: la casualità nei laboratori di questo modulo usa un seme fisso così la correzione è ripetibile, cosa che i veri sistemi di privacy non devono mai fare. I sistemi veri usano librerie di privacy differenziale verificate che gestiscono anche gli arrotondamenti e altre fughe sottili. Non copiare mai codice didattico in un prodotto.

La promessa

Immagina un sondaggio pubblicato con e senza la tua risposta. Se i due risultati pubblicati sembrano quasi uguali, allora nessuno che li legge può capire se hai partecipato, figuriamoci che cosa hai detto. Questa è tutta la promessa.

Privacy differenziale (DP): la garanzia che il risultato di un'analisi cambia appena se i dati di una qualsiasi persona sono inclusi o no. Si ottiene aggiungendo rumore casuale di dimensione calcolata con cura.

Epsilon: il numero che dice quanto vale "appena". Un epsilon piccolo (diciamo 0.1) significa molto rumore e privacy forte; un epsilon grande (diciamo 5) significa poco rumore e privacy debole. Per un semplice conteggio, aggiungere rumore di Laplace con scala 1 / epsilon dà epsilon-DP, perché una persona può cambiare un conteggio al massimo di 1.

Il budget

Ecco il problema. Fai molte volte la stessa domanda con rumore e fai la media delle risposte: il rumore si annulla, come ha mostrato la lezione di matematica, e compare il conteggio vero. Quindi ogni risposta lascia trapelare un po', e le fughe si sommano.

Composizione: quando rispondi a più domande sulle stesse persone, i loro epsilon si sommano. Rispondere con epsilon 0.25 quattro volte costa 1.0 in totale.

Budget di privacy: l'epsilon totale che concedi per un insieme di dati. Ogni risposta ne spende un po'. Quando il budget è finito, smetti di rispondere, per quanto educatamente l'analista lo chieda.

Pensa a una carta prepagata: ogni domanda costa qualcosa, il saldo scende soltanto, e una domanda rifiutata non costa niente. La contabilità è ciò che costruirai. Il rumore arriva già pronto da laplace(scale, rng) nel mondo di prova.

DP locale e centrale nel mondo reale

DP locale: ogni dispositivo aggiunge rumore prima di inviare qualsiasi cosa, quindi l'azienda non ha mai i valori veri (la risposta randomizzata è DP locale). DP centrale: un server fidato ha i dati veri e aggiunge rumore solo ai risultati che pubblica.

Apple ha annunciato nel 2016 di usare la privacy differenziale locale per scoprire cose come parole nuove ed emoji popolari dai dispositivi senza raccogliere ciò che una singola persona ha scritto. Anche il primo sistema di Google, RAPPOR (2014), era locale, usato per raccogliere statistiche dal suo browser. La DP locale richiede moltissimo rumore per persona, quindi dà risposte utili solo per folle molto grandi e valori abbastanza comuni. Gran parte del lavoro pubblicato in seguito da Google, come la sua libreria open source di privacy differenziale (2019), usa il modello centrale, dove serve molto meno rumore per lo stesso epsilon, al prezzo di affidare al server i dati grezzi.

Nessuno dei due modelli è "quello giusto". La DP locale ti protegge anche dall'azienda; la DP centrale dà statistiche più precise. L'aggregazione sicura, due lezioni più avanti, è un modo per avere un po' di entrambe.

In altri linguaggi

Lo stesso controllo del budget in JavaScript:

function spend(budget, epsilon) {
  if (epsilon <= 0) return false;
  if (budget.spent + epsilon > budget.total + 1e-9) return false;
  budget.spent += epsilon;
  budget.log.push(epsilon);
  return true;
}

E in Rust, dove le regole sui prestiti rendono esplicito "non cambiare niente se rifiuti":

fn spend(b: &mut Budget, eps: f64) -> bool {
    if eps <= 0.0 || b.spent + eps > b.total + 1e-9 { return false; }
    b.spent += eps;
    b.log.push(eps);
    true
}

Perché 1e-9?

I computer salvano i decimali in modo approssimato: 0.1 + 0.2 fa 0.30000000000000004 in Python. Senza un piccolo margine, spendere esattamente tutto il budget a piccoli passi potrebbe venire rifiutato per errore. Le librerie vere lo gestiscono con più cura; qui basta un piccolo margine.

Un equivoco comune

"Il rumore significa che i numeri pubblicati sono sbagliati, quindi la DP è inutile." Il rumore è dimensionato per nascondere una persona, non la tendenza. Un conteggio di 412 pubblicato come 409 o 415 dice comunque al negozio quali pagine sono popolari, mentre il conteggio di 31 visitatori di una pagina delicata non può essere usato per confermare che una certa persona era tra loro.

Riepilogo

  • La DP promette che i risultati cambiano appena con o senza una qualsiasi persona; epsilon misura quell'"appena".
  • Per un conteggio, il rumore di Laplace con scala 1 / epsilon dà epsilon-DP.
  • Gli epsilon si sommano tra le domande, quindi un budget va tenuto sotto controllo e fatto rispettare, e i rifiuti non costano niente.
  • La DP locale (rumore sul dispositivo) non si fida di nessuno ma richiede folle enormi; la DP centrale è più precisa ma si fida del server.
Tocca a te

Scrivi quattro funzioni che gestiscono un budget di privacy. make_budget(total) restituisce {"total": total, "spent": 0.0, "log": []}. remaining(budget) restituisce il totale meno lo speso. spend(budget, epsilon) restituisce False e non cambia niente se epsilon non è un numero finito sopra 0 (0, negativo, nan o infinito: un nan che passasse renderebbe spent nan, e ogni controllo successivo passerebbe, quindi il budget non finirebbe mai), o se spenderlo porterebbe spent sopra total di più di 1e-9; altrimenti aggiunge epsilon a spent, lo aggiunge a log e restituisce True. noisy_count(true_count, epsilon, budget, rng) restituisce None se spend rifiuta, altrimenti true_count + laplace(1 / epsilon, rng). Vieni valutato sulla contabilità, non sui numeri esatti con rumore.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.