Silabus Pelajaran 134 dari 156 · Teknologi privasi lebih dari sekadar pemblokiran
Teknologi privasi lebih dari sekadar pemblokiran

Privasi diferensial dengan benar

Kenapa ini penting "Kami hanya menerbitkan statistik anonim" dulu terdengar aman. Di awal kursus ini kamu sudah melihat bahwa pertanyaan cerdas tentang sebuah dataset tetap bisa mengidentifikasi satu orang. Differential privacy adalah alat yang memberikan batasan keras dan terukur untuk itu, dan ide utamanya, privacy budget, adalah sesuatu yang bisa kamu terapkan dalam satu sore.

Kode untuk pengajaran, bukan untuk penggunaan nyata: keacakan di lab modul ini menggunakan seed agar penilaian bisa diulang, hal yang tidak boleh dilakukan oleh sistem privasi nyata. Sistem nyata menggunakan library differential privacy yang sudah terverifikasi yang juga menangani pembulatan dan kebocoran halus lainnya. Jangan pernah menyalin kode pengajaran ke dalam produk.

Janji

Bayangkan sebuah survei yang diterbitkan dengan dan tanpa jawabanmu. Jika kedua hasil yang diterbitkan terlihat hampir sama, maka tidak ada yang membacanya bisa tahu apakah kamu ikut serta, apalagi apa yang kamu katakan. Itulah seluruh janjinya.

Differential privacy (DP): jaminan bahwa hasil analisis hampir tidak berubah entah data satu orang disertakan atau tidak. Ini dicapai dengan menambahkan noise acak dengan ukuran yang diatur dengan hati-hati.

Epsilon: angka yang menunjukkan seberapa besar "sedikit" itu. epsilon kecil (misalnya 0.1) berarti banyak noise dan privasi kuat; epsilon besar (misalnya 5) berarti sedikit noise dan privasi lemah. Untuk hitungan sederhana, menambahkan Laplace noise dengan skala 1 / epsilon memberikan epsilon-DP, karena satu orang maksimal hanya bisa mengubah hitungan sebesar 1.

Anggaran

Ini triknya. Ajukan pertanyaan berisik yang sama berkali-kali dan rata-ratakan jawabannya: kebisingannya akan hilang, seperti yang ditunjukkan pelajaran matematika, dan jumlah aslinya akan muncul. Jadi setiap jawaban membocorkan sedikit, dan kebocoran itu bertambah.

Composition: saat kamu menjawab beberapa pertanyaan tentang orang yang sama, epsilon mereka akan bertambah. Menjawab dengan epsilon 0.25 sebanyak empat kali memakan biaya total 1.0.

Anggaran privasi: total epsilon yang kamu izinkan untuk sebuah dataset. Setiap jawaban menghabiskan sebagian. Saat anggaran habis, kamu berhenti menjawab, seberapa sopan pun analis meminta.

Bayangkan kartu prabayar: setiap pertanyaan memakan biaya, saldo hanya berkurang, dan pertanyaan yang ditolak tidak memakan biaya apa pun. Pembukuan adalah apa yang akan kamu bangun. Noise sudah siap dari laplace(scale, rng) di dunia latihan.

DP lokal dan sentral di dunia nyata

Local DP: setiap perangkat menambahkan noise sebelum mengirim apa pun, jadi perusahaan tidak pernah menyimpan nilai asli (randomised response adalah local DP). Central DP: server terpercaya menyimpan data asli dan hanya menambahkan noise pada hasil yang diterbitkannya.

Apple mengumumkan pada 2016 bahwa mereka menggunakan local differential privacy untuk mempelajari hal seperti kata baru yang populer dan emoji dari perangkat tanpa mengumpulkan apa yang diketik oleh setiap orang. Sistem awal Google, RAPPOR (2014), juga bersifat lokal, digunakan untuk mengumpulkan statistik dari browser mereka. Local DP butuh banyak noise per orang, jadi ini hanya memberikan jawaban berguna untuk kerumunan yang sangat besar dan nilai yang cukup umum. Banyak karya Google yang diterbitkan kemudian, seperti library differential privacy open-source mereka (2019), menggunakan central model, di mana jauh lebih sedikit noise yang dibutuhkan untuk epsilon yang sama, dengan konsekuensi mempercayai server dengan data mentah.

Tidak ada model yang benar-benar "tepat". Local DP melindungimu bahkan dari perusahaan; central DP memberikan statistik yang lebih akurat. Secure aggregation, dua pelajaran kemudian, adalah salah satu cara untuk mendapatkan keduanya.

Di bahasa lain

Pengecekan anggaran yang sama di JavaScript:

function spend(budget, epsilon) {
  if (epsilon <= 0) return false;
  if (budget.spent + epsilon > budget.total + 1e-9) return false;
  budget.spent += epsilon;
  budget.log.push(epsilon);
  return true;
}

Dan di Rust, di mana aturan borrow membuat "tidak ada perubahan jika gagal" menjadi eksplisit:

fn spend(b: &mut Budget, eps: f64) -> bool {
    if eps <= 0.0 || b.spent + eps > b.total + 1e-9 { return false; }
    b.spent += eps;
    b.log.push(eps);
    true
}

Kenapa pakai 1e-9?

Komputer menyimpan desimal secara perkiraan: 0.1 + 0.2 adalah 0.30000000000000004 di Python. Tanpa toleransi kecil, menghabiskan seluruh anggaran tepat dalam langkah kecil bisa ditolak secara salah. Library asli menangani ini lebih hati-hati; toleransi kecil sudah cukup di sini.

Kesalahpahaman umum

"Noise berarti angka yang dipublikasikan salah, jadi DP tidak berguna." Noise ukurannya untuk menyembunyikan satu orang, bukan trennya. Hitungan 412 yang dipublikasikan sebagai 409 atau 415 tetap memberi tahu toko halaman mana yang populer, sementara hitungan 31 pengunjung ke halaman sensitif tidak bisa digunakan untuk memastikan bahwa orang tertentu adalah salah satu dari mereka.

Ringkasan

  • DP menjamin bahwa hasil hampir tidak berubah dengan atau tanpa satu orang pun; epsilon mengukur "hampir tidak".
  • Untuk jumlah, noise Laplace dengan skala 1 / epsilon memberikan epsilon-DP.
  • Epsilons bertambah di seluruh pertanyaan, jadi anggaran harus dilacak dan ditegakkan, dan penolakan tidak memakan biaya apa pun.
  • DP Lokal (noise pada perangkat) tidak percaya siapa pun tapi butuh banyak orang; DP pusat lebih akurat tapi percaya pada server.
Giliranku

Tulis empat fungsi untuk mengelola anggaran privasi. make_budget(total) mengembalikan {"total": total, "spent": 0.0, "log": []}. remaining(budget) mengembalikan total dikurangi yang sudah terpakai. spend(budget, epsilon) mengembalikan False dan tidak mengubah apa pun jika epsilon bukan angka hingga yang di atas 0 (0, negatif, nan atau tak hingga: nan yang lolos akan membuat spent nan, dan setiap pengecekan setelahnya akan lolos, jadi anggaran tidak akan pernah habis), atau jika menggunakannya akan membuat spent di atas total lebih dari 1e-9; jika tidak, ia menambahkan epsilon ke spent, menambahkannya ke log dan mengembalikan True. noisy_count(true_count, epsilon, budget, rng) mengembalikan None jika spend menolak, jika tidak true_count + laplace(1 / epsilon, rng). Kamu dinilai dari pembukuan, bukan dari angka bising yang tepat.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.