Phát hiện bên theo dõi mà không cần danh sách
Vì sao điều này quan trọng Một danh sách chỉ biết những bên theo dõi ai đó đã tìm ra và ghi lại. Các bên theo dõi mới xuất hiện hằng tuần, và một số cố tình đổi tên. Phát hiện một bên theo dõi qua cách nó hành xử bắt được những cái chưa danh sách nào nghe tới.
Phát hiện kẻ trộm mà không cần ảnh
Một bảo vệ cửa hàng có danh sách những kẻ trộm đã biết là hữu ích. Nhưng một bảo vệ giỏi còn quan sát hành vi: một người ghé mọi cửa hàng trên phố và ghi lại ai bước vào. Bạn không cần tên họ mới thấy họ đang làm gì.
Các bên theo dõi cũng có những hành vi tố cáo. Trong bài này bạn tìm ba manh mối trong nhật ký yêu cầu của một trình duyệt:
- Có mặt khắp nơi cùng lúc. Cùng một trang bên thứ ba xuất hiện trên hai hay nhiều trang khác nhau. Đó là điều cho phép nó nối các lần ghé của bạn lại.
- Một ID duy nhất trong địa chỉ. Một giá trị truy vấn như
cid=df0641532d7ftrông có vẻ ngẫu nhiên: đó là một bảng tên cho bạn. - Một pixel. Một "bức ảnh" 100 byte hoặc ít hơn, quá nhỏ để hiện thứ gì. Việc duy nhất của nó là khiến trình duyệt của bạn gửi một yêu cầu.
Phương pháp suy đoán (heuristic): một quy tắc kinh nghiệm thường đúng nhưng không phải luôn đúng, như "mây đen nghĩa là trời mưa". Phương pháp suy đoán bắt được những thứ mới, và chúng cũng có thể bị đánh lừa.
Quy tắc của ta: một trang là bên theo dõi nếu manh mối 1 đúng và ít nhất một trong manh mối 2 hoặc 3 đúng. Đòi hỏi manh mối 1 giữ an toàn cho cdn.example vô hại: nó có mặt trên mọi cửa hàng, nhưng không gửi ID nào và logo của nó là một bức ảnh thật 2 KB.
Ngẫu nhiên đến mức nào? Entropy, nói ngắn gọn
Để phân biệt một ID với một từ bình thường, ta đo các ký tự của nó lộn xộn đến mức nào. aaaa hoàn toàn không lộn xộn. abcd dùng bốn ký tự khác nhau với tỷ lệ bằng nhau.
Entropy Shannon: một con số cho biết một thứ khó đoán đến mức nào, tính bằng bit. Với một văn bản: với mỗi ký tự khác nhau, lấy tỷ lệ p của nó trong văn bản, và cộng lại -p * log2(p). Đa dạng hơn cho nhiều bit hơn.
char_entropy("aaaa") # 0.0 every character is the same
char_entropy("abab") # 1.0 two characters, half each
char_entropy("abcd") # 2.0 four characters, a quarter eachmath.log2(p) là "tôi phải chia đôi 1 bao nhiêu lần để được p", cho dưới dạng một số âm, đó là lý do có dấu trừ. collections.Counter(text) đếm từng ký tự cho bạn. Bạn sẽ gặp lại chính công thức này, áp dụng cho cả những đám đông trình duyệt, ở mô-đun tiếp theo.
Chỉ entropy thôi là không đủ: trail-shoes cũng khá lộn xộn. Nên looks_like_id còn đòi ít nhất 8 ký tự, chỉ gồm chữ cái, chữ số, - hoặc _, và ít nhất một chữ cái và một chữ số. Các từ trượt phép kiểm tra chữ số; ngày tháng và URL trượt phép kiểm tra chữ cái hoặc ký tự.
Đọc nhật ký
Mỗi record trong browser.log có những gì bạn cần:
site_of(record.url)vàrecord.top_site: nếu chúng khác nhau, đó là bên thứ ba.record.request.params: chuỗi truy vấn dưới dạng một dict, đã được giải mã.record.response:Nonenếu bị chặn; nếu không thì có.header("Content-Type")và.sizetính bằng byte.
Giới hạn trung thực
Một bên theo dõi chỉ có mặt trên một trang trong nhật ký của bạn lọt qua mà không bị để ý, kể cả khi nó có mặt trên hàng nghìn trang bạn chưa ghé. Một bên theo dõi giấu ID trong cookie và gửi một bức ảnh cỡ bình thường cũng lọt qua. Và một script phân tích bên thứ nhất gửi ID tới chính trang của nó thì hoàn toàn không phải bên thứ ba. Đó là lý do các bộ chặn thật dùng danh sách và phương pháp suy đoán cùng nhau.
Tự thử Mở DevTools (F12, hoặc Cmd+Option+I trên Mac), vào thẻ Network, lọc theo Img, và tải một trang tin tức. Sắp xếp theo Size. Cột Size cũng tính cả các header phản hồi, nên một pixel mà bức ảnh chỉ vài chục byte vẫn hiện là vài trăm. Bất kỳ bức ảnh nào nhỏ cỡ đó, từ một trang khác, rất có thể là một pixel. Nhấn vào một cái và xem chuỗi truy vấn của nó tìm một giá trị ngẫu nhiên dài.
Trong các ngôn ngữ khác
JavaScript:
function charEntropy(text) {
if (!text) return 0;
const counts = {};
for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
let bits = 0;
for (const n of Object.values(counts)) {
const p = n / text.length;
bits -= p * Math.log2(p);
}
return bits;
}
const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
&& /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;C#:
static double CharEntropy(string text) =>
text.Length == 0 ? 0 :
-text.GroupBy(c => c)
.Select(g => (double)g.Count() / text.Length)
.Sum(p => p * Math.Log2(p));Tóm tắt
- Hành vi tố cáo các bên theo dõi: có mặt trên nhiều trang, gửi ID ngẫu nhiên, lấy về pixel.
- Entropy Shannon đo một văn bản lộn xộn đến mức nào; ID ngẫu nhiên đạt điểm cao.
- Đòi hỏi "có mặt trên 2 trang trở lên" bảo vệ các trợ thủ vô hại như một CDN.
- Phương pháp suy đoán bắt được bên theo dõi mới nhưng bỏ sót một số; các bộ chặn thật kết hợp chúng với danh sách.
Viết char_entropy(text) (entropy Shannon tính bằng bit trên mỗi ký tự, 0.0 cho văn bản rỗng), looks_like_id(value) (ít nhất 8 ký tự, tất cả thuộc ID_CHARS, ít nhất một chữ số và một chữ cái, entropy ít nhất 2.0), is_pixel(record) (một phản hồi có Content-Type bắt đầu bằng image/ và kích thước 100 byte hoặc ít hơn) và find_trackers(log), trả về set các trang xuất hiện như bên thứ ba trên ít nhất 2 trang cấp cao nhất khác nhau và đã gửi một giá trị truy vấn trông như ID hoặc nhận một pixel. Đừng dùng watched.reference.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.