シラバス レッスン 156 中 71 · 自分のサイトのサードパーティ
自分のサイトのサードパーティ

サイトのサードパーティを監査する

なぜ大切か 数えていないものは直せません。サイトを変える前に、プライバシーエンジニアはページの読み込みを記録し、それが話したすべての外部サーバーを洗い出します。この演習では、その監査を数行の Python で自分で書き、その考え方を第 3 部のプロジェクトで再利用します。

カフェの入り口にある芳名帳を考えてください。1 日の終わりにそれを読んで尋ねます。誰が来たか、どれくらいの頻度か、何か置いていった人はいるか。リクエストのログは、ウェブサイトの芳名帳です。

HAR ファイル:HTTP Archive の略です。DevTools は、ページが行ったすべてのリクエストをひとつのファイルに保存できます(Network タブで右クリックし、「Save all as HAR」)。各項目には、URL、リクエストの種類、ヘッダー、状態、設定された Cookie が並びます。練習用のブラウザは、browser.har() で同じものを辞書のリストとして返します。

練習用の世界の項目ひとつはこのように見えます(一部を省略):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

本物の HAR ファイルには top_site はありません。ページの URL から読み取ることになります。コードを短くするため、このログではそれを加えています。

監査が答える 3 つの問い

  1. このリクエストはサードパーティへのものか? URL の サイト を top_site と比べます。完全なホストではなく、サイトを使います。img.shopb.example は shopb.example に属するので、ファーストパーティです。
  2. 外部の各ホストはどれだけ受け取るか? そのリクエストを数え、Cookie を設定したかどうかを記録します。
  3. 誰がサイトをまたいで人を見るか? 2 つ以上の異なる top_site の値の下に現れるホストは、訪問を結びつけられます。最初に見るべきなのはそれらです。

練習用の世界の 2 つの補助関数が URL の作業をしてくれます。host_of(url) はホスト("img.shopb.example")を、site_of(url) は登録可能なサイト("shopb.example")を返します。

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

ホストごとの数を作るには、辞書のメソッド setdefault(key, default) が便利です。key の値を返し、キーが新しければ先に default を保存します。

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

よくある誤解:「Cookie を設定しないホストは無害だ」。すべてのサイトに現れるホストは、毎回やはり IP アドレスとブラウザを見ますし、Cookie の代わりに URL で自分の ID を渡すこともできます。Cookie だけでなく、リクエストとサイトを数えましょう。

ほかの言語では

DevTools から書き出した HAR ファイルに対する同じ監査です。本物の HAR ファイルは、項目を log.entries の下に持ちます。

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

サイト を正しく求めるには Public Suffix List が必要です(a.co.uk が co.uk の一部として扱われないように)。ドットで分割するのではなく、JavaScript の tldts や Go の golang.org/x/net/publicsuffix のようなライブラリを使ってください。

まとめ

  • リクエストのログ(HAR)はサイトの芳名帳で、ページの読み込みが連絡したすべての外部サーバーです。
  • サードパーティとは、ホスト名が違うだけでなく、アドレスバーとは違う サイト のことです。
  • いくつかの異なるサイトの下に見えるホストこそ、訪問を結びつけられるものです。
あなたの番

スターターコードが練習用のログを記録してくれます。AdCo が ID の Cookie を設定する間に、Sam が店のページを 12 ページ閲覧します。3 つの関数を書いてください:

  1. is_third_party(entry):site_of(entry["url"]) が entry["top_site"] と違えば True、そうでなければ False を返します。
  2. audit(har):リストをたどり、サードパーティ のすべての項目について、host_of(entry["url"]) をキーとする辞書を作ります。各値は、"requests"(そのホストに行った項目の数)、"sites"(それが見られた異なる top_site の値の 並べ替えた リスト)、"sets_cookies"(その項目のどれかの set_cookies のリストが空でなければ True)を持つ辞書です。辞書を返します。ファーストパーティの項目は除きます。
  3. watchers(report):audit の辞書を受け取り、2 つ以上 のサイトの下で見られたホストのリストを、アルファベット順に並べて返します。
最後に、各見張り役をそのリクエストの数とともに表示します。テストはほかのログを使うので、答えを手で打ち込むことはできません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。