Chương trình học Bài 71 trên tổng số 156 · Bên thứ ba trên chính trang web của bạn
Bên thứ ba trên chính trang web của bạn

Kiểm toán các bên thứ ba của một trang

Vì sao điều này quan trọng Bạn không sửa được thứ bạn chưa đếm. Trước khi thay đổi bất cứ thứ gì trên một trang, các kỹ sư quyền riêng tư ghi lại một lần tải trang và liệt kê mọi máy chủ bên ngoài nó đã liên lạc. Trong bài tập này bạn tự viết cuộc kiểm toán đó, bằng vài dòng Python, và bạn sẽ dùng lại ý tưởng này trong dự án Chặng 3.

Hãy nghĩ tới một cuốn sổ khách ở cửa quán cà phê. Cuối ngày bạn đọc nó và hỏi: ai đã vào, bao nhiêu lần, và có ai để lại gì không? Một nhật ký yêu cầu là cuốn sổ khách của trang web.

Tệp HAR: viết tắt của HTTP Archive. DevTools có thể lưu mọi yêu cầu một trang đã thực hiện vào một tệp (thẻ Network, nhấp chuột phải, "Save all as HAR"). Mỗi mục liệt kê URL, kiểu yêu cầu, các header của nó, trạng thái và mọi cookie được đặt. Trình duyệt luyện tập của chúng ta cho bạn cùng thứ đó dưới dạng một list các dict bằng browser.har().

Một mục từ thế giới luyện tập trông như thế này (đã rút gọn):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

Tệp HAR thật không có top_site; bạn sẽ đọc nó từ URL của trang. Nhật ký của chúng ta thêm nó vào để mã ngắn gọn.

Ba câu hỏi một cuộc kiểm toán trả lời

  1. Yêu cầu này có tới một bên thứ ba không? So sánh trang (site) của URL với top_site. Dùng trang, không dùng cả tên máy chủ: img.shopb.example thuộc về shopb.example, nên nó là bên thứ nhất.
  2. Mỗi máy chủ bên ngoài nhận được bao nhiêu? Đếm số yêu cầu của nó và ghi lại liệu nó có đặt cookie không.
  3. Ai thấy người dùng qua các trang? Một máy chủ xuất hiện dưới hai hay nhiều giá trị top_site khác nhau có thể liên kết các lần ghé. Đó là những cái cần xem trước.

Hai hàm trợ giúp từ thế giới luyện tập làm phần việc với URL cho bạn: host_of(url) cho tên máy chủ ("img.shopb.example"), và site_of(url) cho trang đăng ký được ("shopb.example").

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

Để dựng một bộ đếm cho mỗi máy chủ, phương thức dict setdefault(key, default) rất tiện: nó trả về giá trị của key, trước đó lưu default nếu khóa còn mới.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

Một hiểu lầm phổ biến: "một máy chủ không đặt cookie nào là vô hại". Một máy chủ xuất hiện trên mọi trang vẫn thấy địa chỉ IP và trình duyệt mỗi lần, và có thể truyền ID của riêng nó trong URL thay vì trong cookie. Hãy đếm yêu cầu và trang, không chỉ đếm cookie.

Trong các ngôn ngữ khác

Cùng cuộc kiểm toán đó trên một tệp HAR xuất từ DevTools. Tệp HAR thật giữ các mục dưới log.entries.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

Xác định đúng trang cần Public Suffix List (để a.co.uk không bị coi là một phần của co.uk). Hãy dùng một thư viện như tldts trong JavaScript hoặc golang.org/x/net/publicsuffix trong Go thay vì tách theo dấu chấm.

Tóm tắt

  • Một nhật ký yêu cầu (HAR) là cuốn sổ khách của một trang: mọi máy chủ bên ngoài mà một lần tải trang đã liên lạc.
  • Bên thứ ba nghĩa là một trang khác với thanh địa chỉ, không chỉ là một tên máy chủ khác.
  • Các máy chủ được thấy dưới nhiều trang khác nhau là những cái có thể liên kết các lần ghé.
Đến lượt bạn

Mã khởi đầu ghi sẵn một nhật ký luyện tập cho bạn: Sam duyệt 12 trang cửa hàng trong khi AdCo đặt một cookie ID. Viết ba hàm:

  1. is_third_party(entry): trả về True khi site_of(entry["url"]) khác với entry["top_site"], nếu không thì False.
  2. audit(har): đi qua list và, với mọi mục bên thứ ba, dựng một dict có khóa là host_of(entry["url"]). Mỗi giá trị là một dict với "requests" (bao nhiêu mục đã tới máy chủ đó), "sites" (một list đã sắp xếp các giá trị top_site khác nhau mà nó được thấy dưới đó) và "sets_cookies" (True nếu bất kỳ mục nào của nó có list set_cookies khác rỗng). Trả về dict đó. Các mục bên thứ nhất bị bỏ ra.
  3. watchers(report): với dict từ audit, trả về một list các máy chủ được thấy dưới hai hay nhiều trang, sắp theo thứ tự bảng chữ cái.
Cuối cùng in ra mỗi bên quan sát kèm số yêu cầu của nó. Các bài kiểm tra dùng những nhật ký khác, nên không thể gõ tay câu trả lời.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.