Kiểm toán các bên thứ ba của một trang
Vì sao điều này quan trọng Bạn không sửa được thứ bạn chưa đếm. Trước khi thay đổi bất cứ thứ gì trên một trang, các kỹ sư quyền riêng tư ghi lại một lần tải trang và liệt kê mọi máy chủ bên ngoài nó đã liên lạc. Trong bài tập này bạn tự viết cuộc kiểm toán đó, bằng vài dòng Python, và bạn sẽ dùng lại ý tưởng này trong dự án Chặng 3.
Hãy nghĩ tới một cuốn sổ khách ở cửa quán cà phê. Cuối ngày bạn đọc nó và hỏi: ai đã vào, bao nhiêu lần, và có ai để lại gì không? Một nhật ký yêu cầu là cuốn sổ khách của trang web.
Tệp HAR: viết tắt của HTTP Archive. DevTools có thể lưu mọi yêu cầu một trang đã thực hiện vào một tệp (thẻ Network, nhấp chuột phải, "Save all as HAR"). Mỗi mục liệt kê URL, kiểu yêu cầu, các header của nó, trạng thái và mọi cookie được đặt. Trình duyệt luyện tập của chúng ta cho bạn cùng thứ đó dưới dạng một list các dict bằng browser.har().
Một mục từ thế giới luyện tập trông như thế này (đã rút gọn):
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}Tệp HAR thật không có top_site; bạn sẽ đọc nó từ URL của trang. Nhật ký của chúng ta thêm nó vào để mã ngắn gọn.
Ba câu hỏi một cuộc kiểm toán trả lời
- Yêu cầu này có tới một bên thứ ba không? So sánh trang (site) của URL với
top_site. Dùng trang, không dùng cả tên máy chủ:img.shopb.examplethuộc vềshopb.example, nên nó là bên thứ nhất. - Mỗi máy chủ bên ngoài nhận được bao nhiêu? Đếm số yêu cầu của nó và ghi lại liệu nó có đặt cookie không.
- Ai thấy người dùng qua các trang? Một máy chủ xuất hiện dưới hai hay nhiều giá trị
top_sitekhác nhau có thể liên kết các lần ghé. Đó là những cái cần xem trước.
Hai hàm trợ giúp từ thế giới luyện tập làm phần việc với URL cho bạn: host_of(url) cho tên máy chủ ("img.shopb.example"), và site_of(url) cho trang đăng ký được ("shopb.example").
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.exampleĐể dựng một bộ đếm cho mỗi máy chủ, phương thức dict setdefault(key, default) rất tiện: nó trả về giá trị của key, trước đó lưu default nếu khóa còn mới.
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}Một hiểu lầm phổ biến: "một máy chủ không đặt cookie nào là vô hại". Một máy chủ xuất hiện trên mọi trang vẫn thấy địa chỉ IP và trình duyệt mỗi lần, và có thể truyền ID của riêng nó trong URL thay vì trong cookie. Hãy đếm yêu cầu và trang, không chỉ đếm cookie.
Trong các ngôn ngữ khác
Cùng cuộc kiểm toán đó trên một tệp HAR xuất từ DevTools. Tệp HAR thật giữ các mục dưới log.entries.
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());Xác định đúng trang cần Public Suffix List (để a.co.uk không bị coi là một phần của co.uk). Hãy dùng một thư viện như tldts trong JavaScript hoặc golang.org/x/net/publicsuffix trong Go thay vì tách theo dấu chấm.
Tóm tắt
- Một nhật ký yêu cầu (HAR) là cuốn sổ khách của một trang: mọi máy chủ bên ngoài mà một lần tải trang đã liên lạc.
- Bên thứ ba nghĩa là một trang khác với thanh địa chỉ, không chỉ là một tên máy chủ khác.
- Các máy chủ được thấy dưới nhiều trang khác nhau là những cái có thể liên kết các lần ghé.
Mã khởi đầu ghi sẵn một nhật ký luyện tập cho bạn: Sam duyệt 12 trang cửa hàng trong khi AdCo đặt một cookie ID. Viết ba hàm:
is_third_party(entry): trả vềTruekhisite_of(entry["url"])khác vớientry["top_site"], nếu không thìFalse.audit(har): đi qua list và, với mọi mục bên thứ ba, dựng một dict có khóa làhost_of(entry["url"]). Mỗi giá trị là một dict với"requests"(bao nhiêu mục đã tới máy chủ đó),"sites"(một list đã sắp xếp các giá trịtop_sitekhác nhau mà nó được thấy dưới đó) và"sets_cookies"(Truenếu bất kỳ mục nào của nó có listset_cookieskhác rỗng). Trả về dict đó. Các mục bên thứ nhất bị bỏ ra.watchers(report): với dict từaudit, trả về một list các máy chủ được thấy dưới hai hay nhiều trang, sắp theo thứ tự bảng chữ cái.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.