Cách phòng thủ
Vì sao điều này quan trọng Ba bài vừa rồi cho thấy tên quay lại qua dấu vân tay, định danh bán phần và hàm băm. Đây là những công cụ thật sự giúp ích khi bạn xây thứ gì đó lưu hay chia sẻ dữ liệu về con người. Mỗi cái đều đơn giản, và mỗi cái có một cái giá bạn nên biết.
Bốn công cụ, một ý tưởng: chia sẻ ít chi tiết hơn
Hãy nghĩ tới một trường học công bố kết quả thi. Liệt kê điểm của mọi học sinh, kể cả không có tên, cho phép bạn cùng lớp đoán ra ai là ai. Nói "điểm trung bình của lớp là 64, và 3 học sinh đạt điểm cao nhất" cho phụ huynh biết những gì họ cần với rủi ro ít hơn nhiều. Mọi công cụ ở đây là một phiên bản của điều đó.
1. Băm có khóa (một salt bí mật)
Salt: văn bản thêm vào được trộn vào đầu vào trước khi băm, để cùng một email cho một hàm băm khác. Khi salt là một bí mật do một tổ chức nắm giữ, nó thường được gọi là khóa hay pepper.
HMAC: một cách chuẩn để băm với một khóa bí mật. Python có sẵn nó: hmac.new(key, message, hashlib.sha256).hexdigest().
Bảng tra của bài trước chỉ hoạt động vì ai cũng tính được sha256(email). Với một khóa bí mật, người ngoài không thể tính hàm băm của các email ứng viên, nên bảng trở nên vô dụng. Cái giá: hai công ty không còn khớp được khách hàng trừ khi họ chia sẻ khóa, đó thường chính là mục đích. Và nó chỉ bảo vệ trước người ngoài: ai giữ khóa vẫn vét cạn được.
2. Tổng quát hóa, rồi loại bỏ: đạt tới k
Tổng quát hóa (generalisation): thay các giá trị chính xác bằng những giá trị thô hơn: zip 40113 trở thành 4011*, ngày sinh 1987-03-03 trở thành 1980s.
Giá trị thô hơn tạo ra các nhóm lớn hơn. Nhưng một số nhóm vẫn tí hon (trong dữ liệu của ta, người có giới tính X rất hiếm). Nên bước thứ hai là loại bỏ (suppression): bỏ ra các hàng có nhóm nhỏ hơn k. Sau cả hai bước, mọi tổ hợp còn lại đều được ít nhất k người chia sẻ. Chọn k (5 và 10 là phổ biến) là một phán đoán về rủi ro.
Giới hạn trung thực: nếu cả k người trong một nhóm có cùng chẩn đoán, nhóm đó vẫn để lộ nó. Và việc loại bỏ gỡ đi những người hiếm nhất, những người mà dữ liệu có thể quan trọng nhất. k-ẩn danh làm giảm rủi ro; nó không loại bỏ rủi ro.
3. Tổng hợp
Thường bạn hoàn toàn không cần các hàng. Hãy công bố số đếm: "212 người bị hen suyễn". Kết hợp nó với việc loại bỏ ("không công bố số đếm nào dưới 10") và nhiều cuộc tấn công biến mất, vì không có hàng nào để nối với một danh sách công khai.
4. Quyền riêng tư vi sai, nói nhẹ nhàng
Số đếm vẫn có thể rò rỉ. Nếu số đếm hôm qua là 212 và hôm nay là 213, và bạn biết một người đã tham gia, bạn biết chẩn đoán của họ. Quyền riêng tư vi sai thêm một chút nhiễu ngẫu nhiên vào mọi con số được công bố, để không một người nào thay đổi kết quả theo cách ai đó có thể thấy.
Quyền riêng tư vi sai (differential privacy): một lời hứa rằng các kết quả công bố sẽ trông gần như y hệt dù dữ liệu của một người bất kỳ có được đưa vào hay không. Nó đạt được bằng cách thêm nhiễu ngẫu nhiên có kích cỡ được tính cẩn thận.
Epsilon: thiết lập quyền riêng tư. Epsilon nhỏ hơn nghĩa là nhiều nhiễu hơn và riêng tư hơn; lớn hơn nghĩa là chính xác hơn và kém riêng tư hơn.
Nhiễu kinh điển là phân phối Laplace với thang 1 / epsilon. Một mẹo gọn gàng tạo ra nó từ hai lần rút ngẫu nhiên bình thường: rng.expovariate(epsilon) - rng.expovariate(epsilon). Với epsilon 1, số đếm công bố lệch trung bình khoảng 1; với epsilon 0.25, khoảng 4. Trung bình trên các nhóm lớn vẫn hữu ích, vì nhiễu nhỏ so với chúng và triệt tiêu lẫn nhau.
Các bài kiểm tra truyền vào một đối tượng random.Random có seed làm rng. Chỉ dùng đối tượng đó làm nhiễu của bạn lặp lại được, để việc chấm điểm công bằng. Chặng 7 đi sâu hơn: ngân sách quyền riêng tư, và điều gì xảy ra khi bạn trả lời nhiều câu hỏi.
Một hiểu lầm phổ biến
"Nhiễu làm hỏng dữ liệu." Với một nhóm tí hon thì đúng, và đó là mục đích: đó là nơi các cá nhân có thể bị lộ. Với các tổng lớn mà người ta thật sự dùng, vài đơn vị nhiễu hầu như không quan trọng.
Tự thử Khi bạn qua, gọi noisy_count(212, epsilon, rng) mười lần cho mỗi epsilon 2, 0.5 và 0.1. Ghi lại độ phân tán của các đáp án. Bạn sẽ chấp nhận epsilon nào cho một báo cáo về một thị trấn 2.000 người?
Trong các ngôn ngữ khác
JavaScript (Node):
const { createHmac } = require("crypto");
const keyedHash = (email, key) =>
createHmac("sha256", key).update(email.trim().toLowerCase()).digest("hex");
// Laplace noise from two exponential draws (use a seeded generator for tests)
const expo = (rate, rand) => -Math.log(1 - rand()) / rate;
const noisyCount = (n, eps, rand) => n + expo(eps, rand) - expo(eps, rand);Go:
mac := hmac.New(sha256.New, []byte(key))
mac.Write([]byte(strings.ToLower(strings.TrimSpace(email))))
hash := hex.EncodeToString(mac.Sum(nil))
noisy := float64(count) + r.ExpFloat64()/eps - r.ExpFloat64()/epsTóm tắt
- Một khóa bí mật (HMAC) ngăn người ngoài vét cạn các email đã băm.
- Tổng quát hóa, rồi loại bỏ các nhóm nhỏ, để đạt k-ẩn danh; nó làm giảm rủi ro, không về không.
- Công bố số đếm thay vì các hàng, và giấu các số đếm nhỏ.
- Quyền riêng tư vi sai thêm nhiễu với thang 1/epsilon: các nhóm tí hon bị làm mờ, các trung bình lớn vẫn hữu ích.
Viết keyed_hash(email, key) (hex HMAC-SHA256 của email đã chuẩn hóa, khóa dạng UTF-8), generalise(row) (một dict mới với zip = 4 chữ số đầu cộng *, birth_decade như "1980s", và gender cùng diagnosis không đổi), suppress_small(rows, columns, k) (giữ, theo thứ tự, chỉ các hàng có nhóm cùng giá trị columns có ít nhất k hàng) và noisy_count(true_count, epsilon, rng) (thêm nhiễu Laplace với thang 1/epsilon chỉ rút từ rng).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.