k-ẩn danh
Vì sao điều này quan trọng Các tổ chức thường chia sẻ dữ liệu sau khi "bỏ tên", và gọi nó là ẩn danh. Bạn sẽ thấy, trên dữ liệu tổng hợp, ba sự thật bình thường đưa tên trở lại nhanh đến thế nào. Đây là cách việc nhận diện lại đã xảy ra trong đời thật, và là lý do cách phòng thủ ở bài 56 tồn tại.
Phép thử chuyện phiếm
Ai đó nói: "Một phụ nữ trên phố mình, sinh ngày 3 tháng Ba 1981, vừa nhận một chẩn đoán." Không có tên nào được nói ra. Nhưng trên một con phố, có bao nhiêu phụ nữ có đúng ngày sinh đó? Có lẽ một người. Các chi tiết chính là cái tên.
Định danh bán phần (quasi-identifier): một sự thật không phải là tên nhưng, kết hợp với vài sự thật khác, chỉ tới một người. Mã bưu chính (zip code), ngày sinh đầy đủ và giới tính là bộ ba kinh điển.
Nhận diện lại (re-identification): gắn tên trở lại cho dữ liệu đã được công bố không kèm tên, thường bằng cách nối nó với một danh sách khác có tên.
Một nghiên cứu nổi tiếng của Latanya Sweeney năm 2000 ước tính rằng khoảng 87% người ở Hoa Kỳ có thể bị nhận ra riêng chỉ bằng zip code, ngày sinh và giới tính. Một nghiên cứu sau đó với dữ liệu điều tra dân số mới hơn (Golle, 2006) đưa con số về gần 63%: thấp hơn, nhưng vẫn là phần lớn mọi người, đó mới là điểm chính. Ta sẽ thấy cùng hiệu ứng trên dữ liệu bịa ra.
Dữ liệu luyện tập
synthetic_people(2000) dựng một bảng sức khỏe hư cấu: id, name, zip, birth_date, gender, diagnosis. Không ai trong đó là thật. Ta "ẩn danh hóa" nó theo cách ngây thơ, bằng cách bỏ tên. synthetic_public_roll(people) dựng một danh sách công khai hư cấu, như sổ đăng ký của một câu lạc bộ, có tên, zip, ngày sinh và giới tính, nhưng không có chẩn đoán.
Đo rủi ro: k
k-ẩn danh (k-anonymity): một bảng là k-ẩn danh khi mọi tổ hợp giá trị định danh bán phần đều được ít nhất k hàng chia sẻ. k = 1 nghĩa là có ít nhất một người đứng một mình, và có thể bị tìm ra.
Để tìm k: gom các hàng theo tuple định danh bán phần của chúng, đếm mỗi nhóm, và lấy số đếm nhỏ nhất. Chỉ với ["gender"], k lớn. Với zip, ngày sinh và giới tính cùng nhau, k giảm xuống 1.
Phép nối
Với mỗi người trong danh sách công khai, dựng khóa (zip, birth_date, gender) của họ và tìm nó trong bảng đã công bố. Hãy nghiêm ngặt: chỉ tính là khớp khi khóa xuất hiện đúng một lần trong bản công bố và đúng một lần trong danh sách. Khi đó bạn chắc chắn. Nếu hai bản ghi chung một khóa, bạn không thể biết cái nào là cái nào; nếu hai người trong danh sách chung một khóa, bạn không thể biết ai là ai.
reidentify(released, roll)
# {17: 'Mei Patel', 203: 'Omar Novak', ...} record id -> nameMột khi bản ghi 17 có một cái tên, chẩn đoán của nó cũng có. Đó là toàn bộ cuộc tấn công: hai danh sách trông vô hại, một phép nối.
Một hiểu lầm phổ biến
"Bỏ tên, email và số điện thoại làm dữ liệu ẩn danh." Nó bỏ các định danh hiển nhiên, nhưng các cột còn lại vẫn có thể nhận ra riêng từng người. Dữ liệu có ẩn danh hay không phụ thuộc vào những gì khác ngoài kia có thể nối với nó, đó là lý do bài 56 thay đổi chính dữ liệu.
Tự thử Khi bạn qua, đổi fraction của danh sách từ 0.6 thành 0.2 và chạy lại. Số lần khớp giảm, nhưng tỉ lệ người trong danh sách bạn nhận diện lại được hầu như không đổi. Mỗi người bị lộ bởi chính các chi tiết của họ, không phải bởi danh sách lớn cỡ nào.
Trong các ngôn ngữ khác
JavaScript:
function reidentify(released, roll, cols) {
const key = r => JSON.stringify(cols.map(c => r[c]));
const count = list => list.reduce((m, r) => m.set(key(r), (m.get(key(r)) || 0) + 1), new Map());
const a = count(released), b = count(roll);
const byKey = new Map(released.map(r => [key(r), r]));
const found = {};
for (const p of roll) {
if (a.get(key(p)) === 1 && b.get(key(p)) === 1) found[byKey.get(key(p)).id] = p.name;
}
return found;
}Tư duy kiểu SQL trong C# (LINQ):
var matches =
from r in released
join p in roll on new { r.Zip, r.BirthDate, r.Gender }
equals new { p.Zip, p.BirthDate, p.Gender }
select new { r.Id, p.Name };
// then keep only keys that occur once on each sideTóm tắt
- Các định danh bán phần (zip, ngày sinh, giới tính) có thể nhận ra riêng từng người mà không cần tên.
- k là kích thước của nhóm nhỏ nhất có chung các định danh bán phần; k = 1 nghĩa là có người bị lộ.
- Nối một bảng không tên với một danh sách công khai có tên sẽ nhận diện lại được người.
- Bỏ tên không phải là ẩn danh hóa. Ở đây chỉ có dữ liệu tổng hợp; cách phòng thủ ở bài tiếp theo.
Viết quasi_key(row, columns) (tuple các giá trị), smallest_group(rows, columns) (kích thước của nhóm hàng nhỏ nhất có chung một khóa: đó là k) và reidentify(released, roll, columns=QUASI), trả về một dict từ id bản ghi đã công bố tới name trong danh sách cho mọi người trong danh sách có khóa xuất hiện đúng một lần trong released và đúng một lần trong roll.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.