Chương trình học Bài 146 trên tổng số 156 · Đo web như một nhà nghiên cứu
Đo web như một nhà nghiên cứu

Thu thập web mô phỏng

Vì sao điều này quan trọng Đếm là cách bạn biến một nỗi lo mơ hồ ("bên theo dõi có ở khắp nơi") thành một sự thật bạn kiểm tra và lặp lại được. Trong bài thực hành này bạn chạy một lần thu thập kiểu thật trên 1.000 trang mô phỏng và dựng cái bảng mà mọi nghiên cứu theo dõi đều bắt đầu từ đó: những bên thứ ba nào xuất hiện, và trên bao nhiêu trang.

Một lần thu thập giống như kiểm kho trong một cửa hàng: đi qua mọi lối, ghi lại mọi món, rồi cộng lại. Ở đây mỗi lối là một trang, và mỗi món là một yêu cầu trang đã tạo ra.

Web mô phỏng

SimWeb(seed) từ watched.leg7b_web tạo ra 1.000 trang hư cấu, xếp hạng theo mức phổ biến. web.sites liệt kê tên của chúng và web.visit(site) trả về những gì một trình thu thập có gắn công cụ đo đã ghi lại:

from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of

web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
    print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example"))       # adco.example

Bên thứ ba: một trang khác với trang bạn đang truy cập mà trang đó liên lạc. Nếu bạn truy cập calmriver.example và nó tải t.adco.example, bên thứ ba là adco.example.

Tên miền đăng ký được (site): phần của một tên host mà một chủ sở hữu kiểm soát, như adco.example cho t.adco.example. site_of(host) tính nó giùm bạn; bạn đã tự viết nó ở Chặng 6.

Mức phổ biến (prevalence): một thứ lan rộng đến mức nào: ở đây, số (hay tỉ lệ) trang đã thu thập mà trên đó một bên thứ ba xuất hiện.

Đếm bằng một dict, sắp xếp bằng một key

Một set giữ mỗi giá trị một lần, hoàn hảo cho câu "trang này đã liên lạc những bên thứ ba nào". Để đếm qua các trang, dùng một dict và cộng một cho mỗi trang mà một bên thứ ba xuất hiện. Để sắp xếp bảng, sắp xếp các phần tử của nó với một key: một hàm nói sắp xếp theo cái gì.

table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked)   # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.

Lưu ý rằng một bên thứ ba được tính một lần cho mỗi trang, dù nó tạo bao nhiêu yêu cầu ở đó. Một bên theo dõi bắn mười pixel trên một trang vẫn chỉ ở trên một trang.

TRACKER_LIST là một danh sách chặn các trang theo dõi đã biết, theo cách các danh sách lọc công khai gắn nhãn chúng. Tỉ lệ trang tải ít nhất một bên theo dõi có trong danh sách là con số tiêu đề của nhiều nghiên cứu.

Một hiểu lầm phổ biến: "Mọi bên thứ ba đều là một bên theo dõi." Phông chữ, mạng phân phối nội dung và widget thanh toán cũng là bên thứ ba. Bảng của bạn sẽ cho thấy một số bên thứ ba phổ biến nhất là vô hại, đó là lý do các nghiên cứu gắn nhãn cẩn thận.

Trong các ngôn ngữ khác

Đếm mức phổ biến trong JavaScript (Node) và Go:

// JavaScript
const table = new Map();
for (const load of loads) {
  const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
  for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);
// Go
table := map[string]int{}
for _, load := range loads {
    seen := map[string]bool{}
    for _, r := range load.Requests {
        s := siteOf(r.Host)
        if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
    }
}

Tóm tắt

  • Một lần thu thập truy cập nhiều trang và ghi lại mọi yêu cầu; việc đếm biến điều đó thành sự thật.
  • Dùng site_of để gom các host thành site, và đếm mỗi bên thứ ba một lần cho mỗi trang.
  • Sắp xếp với một key để xếp hạng theo mức phổ biến, phá hòa bằng tên.
  • Không phải mọi bên thứ ba đều là bên theo dõi; hãy gắn nhãn bằng một danh sách và nói bạn đã dùng danh sách nào.
Đến lượt bạn

Viết năm hàm:

  1. third_parties(load): set các site (site_of(request["host"])) mà trang đã liên lạc, không gồm load["site"].
  2. prevalence(loads): một dict từ site bên thứ ba tới số lần tải mà nó xuất hiện.
  3. top(table, n): n cặp (site, count) lớn nhất, lớn nhất trước, khi hòa thì theo bảng chữ cái.
  4. cookie_setters(loads): set các site bên thứ ba có ít nhất một yêu cầu có sets_cookie đúng.
  5. tracker_share(loads, tracker_list): tỉ lệ các lần tải liên lạc ít nhất một site trong tracker_list.
Rồi điền loads bằng web.visit(site) cho mọi site trong web.sites, theo thứ tự. Các bài kiểm tra cũng thu thập những web mô phỏng khác.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.