La confidentialité différentielle, correctement
Pourquoi c'est important « Nous ne publions que des statistiques anonymes » avait autrefois l'air sûr. Plus tôt dans ce cours, tu as vu que des questions astucieuses sur un jeu de données peuvent encore isoler une personne. La confidentialité différentielle est l'outil qui met une limite stricte et mesurable à ça, et son idée centrale, le budget de confidentialité, est quelque chose que tu peux mettre en œuvre en un après-midi.
Du code pédagogique, pas pour un vrai usage : l'aléatoire des labos de ce module a une graine pour que la notation soit reproductible, ce que les vrais systèmes de vie privée ne doivent jamais faire. Les vrais systèmes utilisent des bibliothèques de confidentialité différentielle éprouvées qui gèrent aussi l'arrondi et d'autres fuites subtiles. Ne copie jamais du code pédagogique dans un produit.
La promesse
Imagine un sondage publié avec et sans ta réponse. Si les deux résultats publiés ont presque la même allure, alors personne qui les lit ne peut savoir si tu as participé, encore moins ce que tu as dit. C'est toute la promesse.
Confidentialité différentielle (DP) : une garantie que le résultat d'une analyse change à peine, que les données d'une personne donnée soient incluses ou non. On y arrive en ajoutant un bruit aléatoire soigneusement dimensionné.
Epsilon : le nombre qui dit ce que veut dire « à peine ». Un petit epsilon (disons 0,1) veut dire beaucoup de bruit et une forte confidentialité ; un grand epsilon (disons 5) veut dire peu de bruit et une faible confidentialité. Pour un simple compte, ajouter un bruit de Laplace d'échelle 1 / epsilon donne l'epsilon-DP, car une personne peut changer un compte d'au plus 1.
Le budget
Voici le piège. Pose la même question bruitée de nombreuses fois et fais la moyenne des réponses : le bruit s'annule, comme l'a montré la leçon de maths, et le vrai compte apparaît. Donc chaque réponse fuit un peu, et les fuites s'additionnent.
Composition : quand tu réponds à plusieurs questions sur les mêmes personnes, leurs epsilons s'additionnent. Répondre avec un epsilon de 0,25 quatre fois coûte 1,0 au total.
Budget de confidentialité : l'epsilon total que tu autorises pour un jeu de données. Chaque réponse en dépense un peu. Quand le budget est épuisé, tu arrêtes de répondre, aussi poliment que l'analyste demande.
Pense à une carte prépayée : chaque question coûte quelque chose, le solde ne fait que baisser, et une question refusée ne coûte rien. La comptabilité, c'est ce que tu vas construire. Le bruit est fourni tout prêt par laplace(scale, rng) dans le monde d'entraînement.
La DP locale et centrale dans le monde réel
DP locale : chaque appareil ajoute du bruit avant d'envoyer quoi que ce soit, donc l'entreprise ne détient jamais les vraies valeurs (la réponse randomisée est de la DP locale). DP centrale : un serveur de confiance détient les vraies données et n'ajoute du bruit qu'aux résultats qu'il publie.
Apple a annoncé en 2016 utiliser la confidentialité différentielle locale pour apprendre des choses comme les nouveaux mots et emoji populaires à partir des appareils, sans collecter ce qu'a tapé une personne donnée. Le premier système de Google, RAPPOR (2014), était aussi local, utilisé pour collecter des statistiques depuis son navigateur. La DP locale demande énormément de bruit par personne, donc elle ne donne des réponses utiles que pour de très grandes foules et des valeurs assez courantes. Une grande partie des travaux publiés plus tard par Google, comme sa bibliothèque open source de confidentialité différentielle (2019), utilise le modèle central, où il faut bien moins de bruit pour le même epsilon, au prix de confier les données brutes au serveur.
Aucun des deux modèles n'est « le bon ». La DP locale te protège même de l'entreprise ; la DP centrale donne des statistiques plus précises. L'agrégation sécurisée, deux leçons plus loin, est une façon d'obtenir un peu des deux.
Dans d'autres langages
La même vérification de budget en JavaScript :
function spend(budget, epsilon) {
if (epsilon <= 0) return false;
if (budget.spent + epsilon > budget.total + 1e-9) return false;
budget.spent += epsilon;
budget.log.push(epsilon);
return true;
}Et en Rust, où les règles d'emprunt rendent explicite le « ne rien changer en cas de refus » :
fn spend(b: &mut Budget, eps: f64) -> bool {
if eps <= 0.0 || b.spent + eps > b.total + 1e-9 { return false; }
b.spent += eps;
b.log.push(eps);
true
}Pourquoi le 1e-9 ?
Les ordinateurs stockent les nombres décimaux de façon approchée : 0.1 + 0.2 vaut 0.30000000000000004 en Python. Sans une toute petite marge, dépenser exactement tout le budget par petites étapes pourrait être refusé à tort. Les vraies bibliothèques gèrent ça avec plus de soin ; une petite marge suffit ici.
Une idée reçue
« Le bruit veut dire que les chiffres publiés sont faux, donc la DP ne sert à rien. » Le bruit est dimensionné pour cacher une personne, pas la tendance. Un compte de 412 publié sous la forme 409 ou 415 dit quand même à la boutique quelles pages sont populaires, tandis que le compte de 31 visiteurs d'une page sensible ne peut pas servir à confirmer qu'une personne précise en faisait partie.
Récap
- La DP promet que les résultats changent à peine avec ou sans une personne donnée ; epsilon mesure ce « à peine ».
- Pour un compte, un bruit de Laplace d'échelle 1 / epsilon donne l'epsilon-DP.
- Les epsilons s'additionnent d'une question à l'autre, donc un budget doit être suivi et appliqué, et les refus ne coûtent rien.
- La DP locale (le bruit sur l'appareil) ne fait confiance à personne mais demande d'immenses foules ; la DP centrale est plus précise mais fait confiance au serveur.
Écris quatre fonctions qui gèrent un budget de confidentialité. make_budget(total) renvoie {"total": total, "spent": 0.0, "log": []}. remaining(budget) renvoie total moins spent. spend(budget, epsilon) renvoie False et ne change rien si epsilon n'est pas un nombre fini supérieur à 0 (0, négatif, nan ou l'infini : un nan qui passerait rendrait spent égal à nan, et chaque vérification suivante réussirait, donc le budget ne s'épuiserait jamais), ou si le dépenser ferait dépasser total à spent de plus de 1e-9 ; sinon, elle ajoute epsilon à spent, l'ajoute à log et renvoie True. noisy_count(true_count, epsilon, budget, rng) renvoie None si spend refuse, sinon true_count + laplace(1 / epsilon, rng). Tu es noté sur la comptabilité, pas sur les nombres bruités exacts.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.