サイトのサードパーティを監査する
なぜ大切か 数えていないものは直せません。サイトを変える前に、プライバシーエンジニアはページの読み込みを記録し、それが話したすべての外部サーバーを洗い出します。この演習では、その監査を数行の Python で自分で書き、その考え方を第 3 部のプロジェクトで再利用します。
カフェの入り口にある芳名帳を考えてください。1 日の終わりにそれを読んで尋ねます。誰が来たか、どれくらいの頻度か、何か置いていった人はいるか。リクエストのログは、ウェブサイトの芳名帳です。
HAR ファイル:HTTP Archive の略です。DevTools は、ページが行ったすべてのリクエストをひとつのファイルに保存できます(Network タブで右クリックし、「Save all as HAR」)。各項目には、URL、リクエストの種類、ヘッダー、状態、設定された Cookie が並びます。練習用のブラウザは、browser.har() で同じものを辞書のリストとして返します。
練習用の世界の項目ひとつはこのように見えます(一部を省略):
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}本物の HAR ファイルには top_site はありません。ページの URL から読み取ることになります。コードを短くするため、このログではそれを加えています。
監査が答える 3 つの問い
- このリクエストはサードパーティへのものか? URL の サイト を
top_siteと比べます。完全なホストではなく、サイトを使います。img.shopb.exampleはshopb.exampleに属するので、ファーストパーティです。 - 外部の各ホストはどれだけ受け取るか? そのリクエストを数え、Cookie を設定したかどうかを記録します。
- 誰がサイトをまたいで人を見るか? 2 つ以上の異なる
top_siteの値の下に現れるホストは、訪問を結びつけられます。最初に見るべきなのはそれらです。
練習用の世界の 2 つの補助関数が URL の作業をしてくれます。host_of(url) はホスト("img.shopb.example")を、site_of(url) は登録可能なサイト("shopb.example")を返します。
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.exampleホストごとの数を作るには、辞書のメソッド setdefault(key, default) が便利です。key の値を返し、キーが新しければ先に default を保存します。
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}よくある誤解:「Cookie を設定しないホストは無害だ」。すべてのサイトに現れるホストは、毎回やはり IP アドレスとブラウザを見ますし、Cookie の代わりに URL で自分の ID を渡すこともできます。Cookie だけでなく、リクエストとサイトを数えましょう。
ほかの言語では
DevTools から書き出した HAR ファイルに対する同じ監査です。本物の HAR ファイルは、項目を log.entries の下に持ちます。
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());サイト を正しく求めるには Public Suffix List が必要です(a.co.uk が co.uk の一部として扱われないように)。ドットで分割するのではなく、JavaScript の tldts や Go の golang.org/x/net/publicsuffix のようなライブラリを使ってください。
まとめ
- リクエストのログ(HAR)はサイトの芳名帳で、ページの読み込みが連絡したすべての外部サーバーです。
- サードパーティとは、ホスト名が違うだけでなく、アドレスバーとは違う サイト のことです。
- いくつかの異なるサイトの下に見えるホストこそ、訪問を結びつけられるものです。
スターターコードが練習用のログを記録してくれます。AdCo が ID の Cookie を設定する間に、Sam が店のページを 12 ページ閲覧します。3 つの関数を書いてください:
is_third_party(entry):site_of(entry["url"])がentry["top_site"]と違えばTrue、そうでなければFalseを返します。audit(har):リストをたどり、サードパーティ のすべての項目について、host_of(entry["url"])をキーとする辞書を作ります。各値は、"requests"(そのホストに行った項目の数)、"sites"(それが見られた異なるtop_siteの値の 並べ替えた リスト)、"sets_cookies"(その項目のどれかのset_cookiesのリストが空でなければTrue)を持つ辞書です。辞書を返します。ファーストパーティの項目は除きます。watchers(report):auditの辞書を受け取り、2 つ以上 のサイトの下で見られたホストのリストを、アルファベット順に並べて返します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。