Differential privacy op de juiste manier
Waarom dit ertoe doet "We publiceren alleen anonieme statistieken" klonk vroeger veilig. Eerder in deze cursus zag je dat slimme vragen over een dataset nog steeds één persoon kunnen aanwijzen. Differential privacy is het hulpmiddel dat daar een harde, meetbare grens aan stelt. De centrale gedachte, het privacy budget, is iets wat je in een middag kunt implementeren.
Lescode, niet voor echt gebruik: de willekeur in de labs van deze module is seeded zodat het nakijken herhaalbaar is, wat echte privacy systemen nooit mogen doen. Echte systemen gebruiken gecontroleerde differential privacy libraries die ook afronding en andere subtiele lekken afhandelen. Kopieer lescode nooit naar een product.
De belofte
Stel je een enquête voor die wordt gepubliceerd met en zonder jouw antwoord. Als de twee gepubliceerde resultaten er bijna hetzelfde uitzien, dan kan niemand die ze leest zien of je hebt meegedaan, laat staan wat je zei. Dat is de hele belofte.
Differential privacy (DP): een garantie dat de output van een analyse nauwelijks verandert of de data van één persoon is opgenomen of niet. Dit wordt bereikt door zorgvuldig gekozen willekeurige ruis toe te voegen.
Epsilon: het getal dat aangeeft hoeveel "bijna" betekent. Kleine epsilon (bijvoorbeeld 0.1) betekent veel ruis en sterke privacy; grote epsilon (bijvoorbeeld 5) betekent weinig ruis en zwakke privacy. Voor een simpele telling geeft het toevoegen van Laplace ruis met schaal 1 / epsilon epsilon-DP, omdat één persoon een telling met maximaal 1.
Het Budget
Hier zit de valkuil. Stel dezelfde ruisende vraag vaak achter elkaar en neem het gemiddelde van de antwoorden: de ruis valt weg, zoals de les wiskunde liet zien, en het ware aantal verschijnt. Dus elk antwoord lekt een beetje, en de lekken tellen op.
Composition: wanneer je meerdere vragen beantwoordt over dezelfde mensen, tellen hun epsilons op. Vier keer antwoorden met epsilon 0.25 kost in totaal 1.0.
Privacy budget: de totale epsilon die je toestaat voor een dataset. Elk antwoord verbruikt er wat. Wanneer het Budget op is, stop je met antwoorden, hoe beleefd de analist ook vraagt.
Denk aan een prepaidkaart: elke vraag kost iets, het saldo gaat alleen omlaag, en een geweigerde vraag kost niets. De boekhouding is wat je gaat bouwen. De ruis komt kant-en-klaar uit laplace(scale, rng) in de praktijkwereld.
Lokale en centrale DP in de echte wereld
Lokale DP: elk apparaat voegt ruis toe voordat het iets verzendt, dus het bedrijf heeft nooit de ware waarden (randomised response is lokale DP). Centrale DP: een vertrouwde server houdt de ware data vast en voegt alleen ruis toe aan de resultaten die het publiceert.
Apple kondigde in 2016 aan dat het local differential privacy gebruikt om dingen zoals populaire nieuwe woorden en emoji's van apparaten te leren zonder te verzamelen wat een persoon typte. Het vroege systeem van Google, RAPPOR (2014), was ook lokaal en werd gebruikt voor het verzamelen van statistieken van zijn browser. Local DP heeft een grote hoeveelheid noise per persoon nodig, dus het geeft alleen nuttige antwoorden voor zeer grote groepen en vrij veelvoorkomende waarden. Veel van het latere gepubliceerde werk van Google, zoals zijn open-source differential privacy library (2019), gebruikt het centrale model, waarbij veel minder noise nodig is voor dezelfde epsilon, ten koste van het vertrouwen op de server met de ruwe data.
Geen van beide modellen is "het juiste". Lokale DP beschermt je zelfs tegen het bedrijf; centrale DP geeft nauwkeurigere statistieken. Secure aggregation, met twee lessen aan, is een manier om een beetje van beide te krijgen.
In andere talen
Dezelfde budget check in JavaScript:
function spend(budget, epsilon) {
if (epsilon <= 0) return false;
if (budget.spent + epsilon > budget.total + 1e-9) return false;
budget.spent += epsilon;
budget.log.push(epsilon);
return true;
}En in Rust, waar de borrow rules "verander niets bij weigering" expliciet maken:
fn spend(b: &mut Budget, eps: f64) -> bool {
if eps <= 0.0 || b.spent + eps > b.total + 1e-9 { return false; }
b.spent += eps;
b.log.push(eps);
true
}Waarom 1e-9?
Computers slaan decimalen ongeveer op: 0.1 + 0.2 is 0.30000000000000004 in Python. Zonder een kleine marge kan het precies uitgeven van het hele Budget in kleine stappen onterecht worden geweigerd. Echte bibliotheken gaan hier zorgvuldiger mee om; een kleine marge is hier voldoende.
A veelvoorkomende misvatting
"Noise betekent dat de gepubliceerde getallen fout zijn, dus DP is nutteloos." De noise is zo groot dat één persoon wordt verborgen, niet de trend. Een telling van 412 gepubliceerd als 409 of 415 vertelt de winkel nog steeds welke pagina's populair zijn, terwijl de telling van 31 bezoekers aan een gevoelige pagina niet gebruikt kan worden om te bevestigen dat een bepaalde persoon een van hen was.
Samenvatting
- DP belooft dat resultaten nauwelijks veranderen met of zonder een persoon; epsilon meet "nauwelijks".
- Voor een telling geeft Laplace-ruis met schaal 1 / epsilon epsilon-DP.
- Epsilons tellen op over verschillende vragen, dus een Budget moet worden bijgehouden en gehandhaafd, en weigeringen kosten niets.
- Lokale DP (ruis op het apparaat) vertrouwt niemand maar heeft grote groepen nodig; centrale DP is nauwkeuriger maar vertrouwt de server.
Schrijf vier functies die een privacy budget beheren. make_budget(total) geeft {"total": total, "spent": 0.0, "log": []} terug. remaining(budget) geeft totaal minus uitgegeven terug. spend(budget, epsilon) geeft False terug en verandert niets als epsilon geen eindig getal boven 0 is (0, negatief, nan of oneindig: een nan die door zou glippen zou spent nan maken, en elke latere check zou slagen, dus zou het budget nooit opraken), of als het uitgeven ervan spent boven total met meer dan 1e-9 zou brengen; anders voegt het epsilon toe aan spent, voegt het toe aan log en geeft het True terug. noisy_count(true_count, epsilon, budget, rng) geeft None terug als spend weigert, anders true_count + laplace(1 / epsilon, rng). Je wordt beoordeeld op de boekhouding, niet op de exacte ruiscijfers.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.