Müfredat 156 dersinden 134. · Engellemenin ötesinde gizlilik teknolojisi
Engellemenin ötesinde gizlilik teknolojisi

Diferansiyel gizliliği doğru şekilde

Neden önemli "Sadece anonim istatistikler yayınlıyoruz" ifadesi eskiden güvenli geliyordu. Bu kursun başlarında, bir veri seti hakkındaki akıllıca soruların hala tek bir kişiyi tespit edebileceğini gördün. Diferansiyel gizlilik, buna sert ve ölçülebilir bir sınır koyan araçtır ve temel fikri olan gizlilik bütçesi, bir öğleden sonra uygulayabileceğin bir şeydir.

Öğretim kodu, gerçek kullanım için değil: bu modülün laboratuvarlarındaki rastgelelik tohumlanmıştır, bu yüzden notlandırma tekrarlanabilir; gerçek gizlilik sistemleri ise bunu asla yapmamalıdır. Gerçek sistemler yuvarlama ve diğer ince sızıntıları da yöneten denetlenmiş diferansiyel gizlilik kütüphaneleri kullanır. Öğretim kodunu asla bir ürüne kopyalama.

Söz

Cevabınla ve cevabın olmadan yayınlanan bir anket hayal et. Eğer yayınlanan iki sonuç neredeyse aynı görünüyorsa, onları okuyan hiç kimse senin katlaşıp katılmadığını, ne dediğini bırakın, anlayamaz. İşte tüm vaat bu.

Diferansiyel gizlilik (DP): bir analizin çıktısının, herhangi bir kişinin verisinin dahil edilip edilmemesine göre neredeyse hiç değişmediği garantisidir. Bu, dikkatlice boyutlandırılmış rastgele gürültü ekleyerek sağlanır.

Epsilon: "barely" ifadesinin ne kadarını ifade ettiğini söyleyen sayı. Küçük epsilon (örneğin 0.1) çok fazla gürültü ve güçlü gizlilik demektir; büyük epsilon (örneğin 5) az gürültü ve zayıf gizlilik demektir. Basit bir sayım için, 1 / epsilon ölçeğinde Laplace gürültüsü eklemek epsilon-DP sağlar, çünkü bir kişi bir sayımı en fazla 1.

değiştirebilir.

Bütçe

İşin püf noktası burada. Aynı gürültülü soruyu defalarca sor ve cevapların ortalamasını al: Matematik dersinde gösterildiği gibi gürültü birbirini yok eder ve gerçek sayı ortaya çıkar. Yani her cevap biraz sızdırır ve bu sızıntılar birikir.

Composition: Aynı kişiler hakkında birkaç soru cevapladığında, onların epsilonsu toplanır. Dört kez 0.25 epsilon ile cevap vermek toplamda 1.0 maliyetine yol açar.

Gizlilik bütçesi: bir veri kümesi için izin verdiğin toplam epsilon. Her cevap bir miktar harcar. Bütçe bittiğinde, analist ne kadar nazikçe isterse istesin cevap vermeyi bırakırsın.

Bir ön ödemeli kart düşün: her soru bir maliyet çıkarır, bakiye sadece azalır ve reddedilen bir soru hiçbir şey maliyet çıkarmaz. Kayıt tutma kısmı senin inşa edeceğin şeydir. Gürültü, uygulama dünyasındaki laplace(scale, rng) kısmından hazır olarak gelir.

Gerçek dünyadaki yerel ve merkezi DP

Yerel DP: her cihaz herhangi bir şey göndermeden önce gürültü ekler önce bu yüzden şirket asla gerçek değerleri elinde tutmaz (rastgeleleştirilmiş yanıt yerel DP'dir). Merkezi DP: güvenilir bir sunucu gerçek verileri tutar ve sadece yayınladığı sonuçlara gürültü ekler.

Apple, 2016 yılında herhangi bir kişinin ne yazdığını toplamadan, popüler yeni kelimeler ve emoji gibi şeyleri öğrenmek için yerel diferansiyel gizliliği kullandığını duyurdu. Google'ın erken dönem sistemi, RAPPOR (2014), tarayıcısından istatistik toplamak için kullanılan yerel bir sistemdi. Yerel DP, kişi başına çok fazla gürültü gerektirir, bu yüzden sadece çok büyük kalabalıklar ve oldukça yaygın değerler için yararlı cevaplar verir. Google'ın daha sonra yayınladığı çalışmaların çoğu, açık kaynaklı diferansiyel gizliliği kütüphanesi (2019) gibi, aynı epsilon için çok daha az gürültü gereken merkezi modeli kullanır; bu model ham veriyi sunucuya güvenmek pahasına çalışır.

Hiçbir model "doğru olan" değil. Yerel DP seni şirketten bile korur; merkezi DP daha doğru istatistikler verir. İki ders sonra göreceğimiz güvenli toplama, her ikisinden de biraz elde etmenin bir yolu.

Diğer dillerde

JavaScript'te aynı bütçe kontrolü:

function spend(budget, epsilon) {
  if (epsilon <= 0) return false;
  if (budget.spent + epsilon > budget.total + 1e-9) return false;
  budget.spent += epsilon;
  budget.log.push(epsilon);
  return true;
}

Ve Rust'ta ise ödünç alma kuralları "reddetme durumunda hiçbir şeyi değiştirme" kuralını açıkça belirtir:

fn spend(b: &mut Budget, eps: f64) -> bool {
    if eps <= 0.0 || b.spent + eps > b.total + 1e-9 { return false; }
    b.spent += eps;
    b.log.push(eps);
    true
}

Neden 1e-9?

Bilgisayarlar ondalık sayıları yaklaşık olarak saklar: 0.1 + 0.2 Python'da 0.30000000000000004'dir. Çok küçük bir pay bırakmazsan, tüm bütçeyi küçük adımlarla tam olarak harcamak yanlışlıkla reddedilebilir. Gerçek kütüphaneler bunu daha dikkatli yönetir; burada küçük bir pay yeterlidir.

Yaygın bir yanılgı

"Gürültü, yayınlanan sayıların yanlış olduğu anlamına gelir, bu yüzden DP işe yaramaz." Gürültü, eğilimi değil, bir kişiyi gizleyecek şekilde boyutlandırılır. 412 sayısı 409 veya 415 olarak yayınlandığında hala mağazaya hangi sayfaların popüler olduğunu söyler, ancak hassas bir sayfadaki 31 ziyaretçi sayısı, belirli bir kişinin onlardan biri olduğunu doğrulamak için kullanılamaz.

Özet

  • DP, herhangi bir kişinin olup olmamasının sonuçları neredeyse hiç değiştirmediğini vaat eder; epsilon "neredeyse hiç" kısmını ölçer.
  • Bir sayı için, ölçeği 1 / epsilon olan Laplace gürültüsü epsilon-DP sağlar.
  • Epsilons sorular boyunca toplanır, bu yüzden bir bütçe takip edilmeli ve uygulanmalı, reddetmeler ise hiçbir şey maliyetli değil.
  • Yerel DP (cihazdaki gürültü) kimseye güvenmez ama büyük kalabalıklar gerektirir; merkezi DP daha doğrudur ama sunucuya güvenir.
Senin sıran

Bir gizlilik bütçesini yöneten dört fonksiyon yaz. make_budget(total), {"total": total, "spent": 0.0, "log": []} döndürür. remaining(budget), toplam eksi harcananı döndürür. spend(budget, epsilon), False döndürür ve epsilon 0'ın üzerinde sonlu bir sayı değilse hiçbir şeyi değiştirmez (0, negatif, nan veya sonsuz: sızan bir nan, spent'yi nan yapar ve sonraki her kontrol geçer, bu yüzden bütçe asla bitmez), veya harcamak spent'yi total'den 1e-9'den fazla yukarı çekecekse hiçbir şeyi değiştirmez; aksi takdirde epsilon'yi spent'ye ekler, onu log'ye ekler ve True döndürür. noisy_count(true_count, epsilon, budget, rng), spend reddederse None, aksi takdirde true_count + laplace(1 / epsilon, rng) döndürür. Notun, tam gürültülü sayılar üzerinden değil, kayıt tutma üzerinden verilir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.