पाठ्यक्रम 156 में से पाठ 134 · रोकने से आगे की निजता तकनीक
रोकने से आगे की निजता तकनीक

Differential privacy ठीक से

यह क्यों मायने रखता है "हम सिर्फ़ गुमनाम आँकड़े प्रकाशित करते हैं" पहले सुरक्षित लगता था। इस कोर्स में पहले आपने देखा कि एक dataset के बारे में चतुर सवाल फिर भी एक व्यक्ति को अलग कर सकते हैं। Differential privacy वह औज़ार है जो उस पर एक सख़्त, मापने लायक सीमा लगाता है, और उसका मुख्य विचार, privacy budget, कुछ ऐसा है जिसे आप एक दोपहर में लागू कर सकते हैं।

सीखने का code, असली इस्तेमाल के लिए नहीं: इस module के labs की बेतरतीबी seeded है ताकि grading दोहराने लायक हो, जो असली निजता सिस्टमों को कभी नहीं करना चाहिए। असली सिस्टम जाँची differential privacy libraries इस्तेमाल करते हैं जो rounding और दूसरे बारीक रिसाव भी संभालती हैं। सीखने का code कभी एक product में copy न करें।

वादा

एक survey की कल्पना करें जो आपके जवाब के साथ और बिना प्रकाशित होता है। अगर दोनों प्रकाशित नतीजे लगभग एक जैसे दिखें, तो उन्हें पढ़ने वाला कोई नहीं बता सकता कि आपने हिस्सा लिया या नहीं, आपने क्या कहा यह तो दूर की बात। यही पूरा वादा है।

Differential privacy (DP): एक गारंटी कि एक विश्लेषण का output बमुश्किल बदलता है चाहे किसी एक व्यक्ति का डेटा शामिल हो या नहीं। यह सावधानी से नापे बेतरतीब शोर को जोड़कर हासिल होता है।

Epsilon: वह संख्या जो बताती है कि "बमुश्किल" का कितना मतलब है। छोटा epsilon (मान लें 0.1) का मतलब बहुत शोर और मज़बूत निजता; बड़ा epsilon (मान लें 5) का मतलब कम शोर और कमज़ोर निजता। एक सादी गिनती के लिए, scale 1 / epsilon वाला Laplace noise जोड़ना epsilon-DP देता है, क्योंकि एक व्यक्ति एक गिनती को ज़्यादा से ज़्यादा 1 से बदल सकता है।

Budget

यह रही पकड़। एक ही शोर वाला सवाल कई बार पूछें और जवाबों का औसत लें: शोर कट जाता है, जैसे गणित पाठ ने दिखाया, और सच्ची गिनती दिख जाती है। इसलिए हर जवाब थोड़ा रिसता है, और रिसाव जुड़ते जाते हैं।

Composition: जब आप एक ही लोगों के बारे में कई सवालों के जवाब देते हैं, उनके epsilons जुड़ते हैं। epsilon 0.25 से चार बार जवाब देने की कुल क़ीमत 1.0 है।

Privacy budget: एक dataset के लिए आपका अनुमत कुल epsilon। हर जवाब कुछ ख़र्च करता है। जब budget ख़त्म हो, आप जवाब देना बंद कर देते हैं, विश्लेषक चाहे कितनी भी विनम्रता से पूछे।

एक prepaid card की सोचें: हर सवाल की कुछ क़ीमत है, बाक़ी राशि बस घटती है, और एक मना किए सवाल की कोई क़ीमत नहीं। हिसाब-किताब वह है जो आप बनाएँगे। शोर अभ्यास दुनिया में laplace(scale, rng) से तैयार आता है।

असली दुनिया में local और central DP

Local DP: हर device कुछ भी भेजने से पहले शोर जोड़ता है, इसलिए कंपनी के पास कभी सच्चे मान नहीं होते (randomised response local DP है)। Central DP: एक भरोसेमंद server सच्चा डेटा रखता है और सिर्फ़ उसके प्रकाशित नतीजों में शोर जोड़ता है।

Apple ने 2016 में घोषणा की कि वह devices से लोकप्रिय नए शब्द और emoji जैसी चीज़ें सीखने के लिए local differential privacy इस्तेमाल करता है, किसी एक व्यक्ति का type किया इकट्ठा किए बिना। Google का शुरुआती सिस्टम, RAPPOR (2014), भी local था, अपने ब्राउज़र से आँकड़े इकट्ठा करने के लिए इस्तेमाल। Local DP को हर व्यक्ति पर बहुत ज़्यादा शोर चाहिए, इसलिए यह सिर्फ़ बहुत बड़ी भीड़ और काफ़ी आम मानों के लिए काम के जवाब देता है। Google का बाद का बहुत सारा प्रकाशित काम, जैसे उसकी open-source differential privacy library (2019), central model इस्तेमाल करता है, जहाँ उसी epsilon के लिए बहुत कम शोर चाहिए, कच्चे डेटा के साथ server पर भरोसा करने की क़ीमत पर।

कोई भी model "सही वाला" नहीं। Local DP आपकी कंपनी से भी रक्षा करता है; central DP ज़्यादा सटीक आँकड़े देता है। Secure aggregation, दो पाठ आगे, दोनों का कुछ पाने का एक तरीका है।

दूसरी भाषाओं में

JavaScript में वही budget जाँच:

function spend(budget, epsilon) {
  if (epsilon <= 0) return false;
  if (budget.spent + epsilon > budget.total + 1e-9) return false;
  budget.spent += epsilon;
  budget.log.push(epsilon);
  return true;
}

और Rust में, जहाँ borrow नियम "मना करने पर कुछ न बदलें" को स्पष्ट बनाते हैं:

fn spend(b: &mut Budget, eps: f64) -> bool {
    if eps <= 0.0 || b.spent + eps > b.total + 1e-9 { return false; }
    b.spent += eps;
    b.log.push(eps);
    true
}

1e-9 क्यों?

Computers दशमलव लगभग रूप में रखते हैं: Python में 0.1 + 0.2 0.30000000000000004 है। एक छोटी छूट के बिना, छोटे क़दमों में ठीक पूरा budget ख़र्च करना ग़लती से मना हो सकता था। असली libraries इसे ज़्यादा सावधानी से संभालती हैं; यहाँ एक छोटी छूट काफ़ी है।

एक आम ग़लतफ़हमी

"शोर का मतलब है प्रकाशित संख्याएँ ग़लत हैं, इसलिए DP बेकार है।" शोर एक व्यक्ति को छिपाने के लिए नापा गया है, रुझान को नहीं। 412 की एक गिनती 409 या 415 के रूप में प्रकाशित होकर भी दुकान को बताती है कि कौन-से पन्ने लोकप्रिय हैं, जबकि एक संवेदनशील पन्ने के 31 आगंतुकों की गिनती यह पक्का करने के लिए इस्तेमाल नहीं हो सकती कि कोई ख़ास व्यक्ति उनमें से एक था।

सार

  • DP वादा करता है कि नतीजे किसी एक व्यक्ति के साथ या बिना बमुश्किल बदलते हैं; epsilon "बमुश्किल" को मापता है।
  • एक गिनती के लिए, scale 1 / epsilon वाला Laplace noise epsilon-DP देता है।
  • Epsilons सवालों के पार जुड़ते हैं, इसलिए एक budget का हिसाब रखना और उसे लागू करना पड़ता है, और मना करने की कोई क़ीमत नहीं।
  • Local DP (device पर शोर) किसी पर भरोसा नहीं करता पर भारी भीड़ चाहता है; central DP ज़्यादा सटीक है पर server पर भरोसा करता है।
आपकी बारी

चार functions लिखें जो एक privacy budget संभालते हैं। make_budget(total) {"total": total, "spent": 0.0, "log": []} लौटाता है। remaining(budget) total घटा spent लौटाता है। spend(budget, epsilon) False लौटाता है और कुछ नहीं बदलता अगर epsilon 0 से ऊपर की एक सीमित संख्या नहीं है (0, ऋणात्मक, nan या infinity: फिसलकर निकला एक nan spent को nan बना देता, और हर बाद की जाँच पास हो जाती, इसलिए budget कभी ख़त्म नहीं होता), या अगर उसे ख़र्च करना spent को total से 1e-9 से ज़्यादा ऊपर ले जाता; नहीं तो यह epsilon को spent में जोड़ता है, उसे log में जोड़ता है और True लौटाता है। noisy_count(true_count, epsilon, budget, rng) None लौटाता है अगर spend मना करे, नहीं तो true_count + laplace(1 / epsilon, rng)। आपको हिसाब-किताब पर अंक मिलते हैं, ठीक शोर वाली संख्याओं पर नहीं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।