シラバス レッスン 156 中 146 · 研究者のようにウェブを測る
研究者のようにウェブを測る

シミュレーションしたウェブを巡回する

なぜ大切か 数えることは、あいまいな心配(「トラッカーはどこにでもいる」)を、確かめて繰り返せる事実に変える方法です。このラボでは、シミュレーションした 1,000 のサイトについて本物らしい巡回を行い、どの追跡の研究も最初に作る表を作ります。どのサードパーティが現れ、いくつのサイトでか、です。

巡回は店の在庫確認のようなものです。すべての通路を歩き、すべての品物を書き留め、それから合計します。ここでは各通路がサイトで、各品物がページの行ったリクエストです。

シミュレーションしたウェブ

watched.leg7b_web の SimWeb(seed) は、人気で順位付けした 1,000 の架空のサイトを作ります。web.sites はその名前を並べ、web.visit(site) は計測の仕掛けを付けたクローラーが記録したものを返します:

from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of

web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
    print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example"))       # adco.example

サードパーティ:訪れているもの以外で、ページが連絡するサイトです。calmriver.example を訪れて、それが t.adco.example を読み込めば、サードパーティは adco.example です。

登録可能なドメイン(サイト):ホスト名のうち、ひとりの持ち主が管理する部分で、t.adco.example なら adco.example です。site_of(host) がそれを求めてくれます。第 6 部で自分で書きました。

普及率:何かがどれだけ広まっているかです。ここでは、あるサードパーティが現れる巡回したサイトの数(または割合)です。

辞書で数え、キーで並べ替える

集合 は各値を一度だけ保つので、「このページはどのサードパーティに連絡したか」にぴったりです。ページをまたいで数えるには辞書を使い、サードパーティが現れるページごとに 1 を足します。表を並べ替えるには、何で並べ替えるかを伝える関数である key で、その項目を並べ替えます。

table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked)   # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.

サードパーティは、そこで何回リクエストをしても、サイトごとに一度だけ数えることに注意してください。ひとつのサイトで 10 個のピクセルを撃つトラッカーも、ひとつのサイトにいるだけです。

TRACKER_LIST は、公開のフィルターの一覧がラベルを付けるような、既知のトラッカーのサイトのブロックリストです。一覧にあるトラッカーを少なくともひとつ読み込むサイトの割合が、多くの研究の見出しの数字です。

よくある誤解:「すべてのサードパーティはトラッカーだ」。フォント、コンテンツ配信ネットワーク、決済のウィジェットもサードパーティです。あなたの表は、最もよく現れるサードパーティのいくつかが無害であることを示すでしょう。だから研究は慎重にラベルを付けるのです。

ほかの言語では

JavaScript(Node)と Go で普及率を数える:

// JavaScript
const table = new Map();
for (const load of loads) {
  const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
  for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);
// Go
table := map[string]int{}
for _, load := range loads {
    seen := map[string]bool{}
    for _, r := range load.Requests {
        s := siteOf(r.Host)
        if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
    }
}

まとめ

  • 巡回は多くのサイトを訪れ、すべてのリクエストを記録します。数えることが、それを事実に変えます。
  • site_of を使ってホストをサイトにまとめ、各サードパーティをサイトごとに一度だけ数えます。
  • 普及率で順位付けするにはキーで並べ替え、同点は名前で決めます。
  • すべてのサードパーティがトラッカーではありません。一覧でラベルを付け、どの一覧を使ったかを述べましょう。
あなたの番

5 つの関数を書いてください:

  1. third_parties(load):ページが連絡したサイト(site_of(request["host"]))の集合で、load["site"] は除きます。
  2. prevalence(loads):サードパーティのサイトから、それが現れる読み込みの数への辞書。
  3. top(table, n):最も大きい n 個の (site, count) の組で、大きい順、同点はアルファベット順。
  4. cookie_setters(loads):sets_cookie が真のリクエストを少なくともひとつ持つサードパーティのサイトの集合。
  5. tracker_share(loads, tracker_list):tracker_list のサイトに少なくともひとつ連絡する読み込みの割合。
それから web.sites のすべてのサイトについて、順に web.visit(site) で loads を埋めます。テストはほかのシミュレーションしたウェブも巡回します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。