Chương trình học Bài 130 trên tổng số 156 · Theo dõi con người, không phải thiết bị
Theo dõi con người, không phải thiết bị

Khớp xuyên thiết bị

Vì sao điều này quan trọng Bạn có thể dùng một điện thoại trên xe buýt, một máy tính xách tay ở chỗ làm và một máy tính bảng trên ghế sofa, mỗi cái có cookie riêng. Các công ty quảng cáo muốn biết hơn rằng tất cả chúng là một người. Bài thực hành này cho thấy những manh mối họ dùng, chúng sai thường xuyên đến đâu, và manh mối nào mạnh nhất từ xa: việc đăng nhập.

Nối các dấu chấm

Hãy hình dung một thám tử với ba cuốn sổ riêng, mỗi cuốn cho một thiết bị. Mỗi cuốn sổ liệt kê thiết bị đã lên mạng ở đâu, và lúc nào. Việc của thám tử là quyết định những cuốn sổ nào thuộc về cùng một người. Không ai cho họ biết; họ đoán từ những chỗ chồng lấn.

Khớp xuyên thiết bị: quyết định rằng vài thiết bị thuộc về một người. Khớp tất định dùng một mối liên kết chắc chắn, như cùng một tài khoản đăng nhập trên cả hai. Khớp xác suất dùng những mối liên kết có khả năng, như cùng mạng ở nhà hay cùng giờ sử dụng, và chấp nhận một số sai sót.

Địa chỉ IP: địa chỉ mạng mà lưu lượng của một thiết bị đến từ đó. Mọi thiết bị sau một bộ định tuyến ở nhà thường dùng chung địa chỉ của căn nhà, và nhiều điện thoại trên một mạng di động cũng có thể dùng chung một địa chỉ.

Ba manh mối

  • Một lần đăng nhập dùng chung: cùng một tài khoản trên hai thiết bị. Rất mạnh.
  • Một địa chỉ IP dùng chung: gợi ý cùng một hộ gia đình, văn phòng hay mạng di động, không nhất thiết là cùng một người.
  • Giờ giấc tương tự: hai thiết bị hoạt động vào cùng những giờ trong ngày.

Các hộ gia đình luyện tập của ta đến từ synthetic_households(), trả về một list các sự kiện và đáp án. Mỗi sự kiện là {"device": "phone-004", "ip": "203.0.113.7", "hour": 21, "login": "acct-1f2e3d"}, với "login": None khi không ai đăng nhập. Các địa chỉ đến từ những dải dành riêng cho tài liệu, không bao giờ được dùng trên internet thật.

Set làm cho việc tìm chỗ chồng lấn dễ dàng

Một set của Python là một túi các giá trị riêng biệt, viết là set() khi rỗng. s.add(x) đặt một giá trị vào. a & b cho các giá trị có ở cả hai set và a | b cho các giá trị có ở một trong hai. Một set rỗng được tính là sai trong một if:

a = {9, 21, 22}
b = {8, 21, 22, 23}
print(a & b)                    # {21, 22}
print(len(a & b) / len(a | b))  # 2 / 5 = 0.4, the share of hours in common
if a & b:
    print("they overlap")

Chấm điểm và đánh giá

Bạn sẽ cho mỗi cặp thiết bị một điểm: 3 cho một lần đăng nhập dùng chung, 1 cho một IP dùng chung, cộng tỷ lệ giờ chung (0 tới 1). Các cặp bằng hoặc trên một ngưỡng được tính là "cùng một người". Rồi bạn đo hai thứ:

Precision: trong các cặp bạn khẳng định, tỷ lệ đúng. Recall: trong các cặp thật, tỷ lệ bạn tìm ra. Một bộ khớp cẩn thận có precision cao; một bộ khớp tham lam có recall cao.

Trong các ngôn ngữ khác

Phần chồng lấn của set trong JavaScript (JavaScript không có toán tử & cho set; các engine mới hơn thêm phương thức intersection(), và việc lọc thì chạy ở mọi nơi):

const both = [...a.logins].some(x => b.logins.has(x));
const common = [...a.hours].filter(h => b.hours.has(h)).length;
const either = new Set([...a.hours, ...b.hours]).size;
const score = (both ? 3 : 0) + (either ? common / either : 0);

Và trong C#:

var common = a.Hours.Intersect(b.Hours).Count();
var either = a.Hours.Union(b.Hours).Count();
double score = (a.Logins.Overlaps(b.Logins) ? 3 : 0) + (either > 0 ? (double)common / either : 0);

Bạn sẽ thấy gì

Ở ngưỡng 1.0, chỉ một địa chỉ dùng chung là đủ, và precision sụp đổ: những người ở chung nhà, đồng nghiệp và người lạ trên cùng mạng di động đều bị gộp lại. Ở 1.5, bộ khớp đúng khoảng bảy trên mười lần và tìm ra khoảng bảy trên mười cặp thật. Ở 3.0 chỉ đăng nhập mới được tính: gần như mọi khẳng định đều đúng, nhưng phần lớn các cặp thật bị bỏ sót. Đăng nhập trao ra đúng một manh mối gần như chắc chắn.

Cách phòng thủ

Hãy ở trạng thái đăng xuất ở nơi bạn không cần tài khoản, và dùng các tài khoản khác nhau (hoặc không có tài khoản) trên những thiết bị bạn muốn giữ tách biệt. Một VPN thay đổi manh mối IP, nhưng không thay đổi việc đăng nhập hay giờ giấc. Bài cuối của mô-đun này ghép những điều này lại với nhau.

Tóm tắt

  • Các thiết bị được nối bằng việc đăng nhập (gần như chắc chắn), địa chỉ IP dùng chung và giờ giấc tương tự (cả hai đều là phỏng đoán).
  • Địa chỉ dùng chung nối các hộ gia đình và mạng, không nối con người, nên chúng tạo ra nhiều lần khớp sai.
  • Precision và recall cho thấy sự đánh đổi giữa khớp cẩn thận và khớp tham lam.
  • Đăng nhập là manh mối mạnh nhất bạn trao ra.
Đến lượt bạn

Viết bốn hàm. summarise(events) trả về một dict ánh xạ mỗi thiết bị tới {"ips": set, "hours": set, "logins": set}, bỏ None ra khỏi logins. pair_score(a, b) nhận hai bản tóm tắt như vậy và trả về 3 nếu các set login của chúng có chung một giá trị, cộng 1 nếu các set IP của chúng có chung một giá trị, cộng số giờ có ở cả hai chia cho số giờ có ở một trong hai (0 nếu cả hai đều rỗng). match_devices(summaries, threshold) trả về một set các tuple (a, b) với a < b cho mọi cặp tên thiết bị có điểm ít nhất bằng threshold. precision_recall(predicted, truth) trả về một tuple (precision, recall), dùng 0 khi một set rỗng.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.