シミュレーションしたウェブを巡回する
なぜ大切か 数えることは、あいまいな心配(「トラッカーはどこにでもいる」)を、確かめて繰り返せる事実に変える方法です。このラボでは、シミュレーションした 1,000 のサイトについて本物らしい巡回を行い、どの追跡の研究も最初に作る表を作ります。どのサードパーティが現れ、いくつのサイトでか、です。
巡回は店の在庫確認のようなものです。すべての通路を歩き、すべての品物を書き留め、それから合計します。ここでは各通路がサイトで、各品物がページの行ったリクエストです。
シミュレーションしたウェブ
watched.leg7b_web の SimWeb(seed) は、人気で順位付けした 1,000 の架空のサイトを作ります。web.sites はその名前を並べ、web.visit(site) は計測の仕掛けを付けたクローラーが記録したものを返します:
from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of
web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example")) # adco.exampleサードパーティ:訪れているもの以外で、ページが連絡するサイトです。calmriver.example を訪れて、それが t.adco.example を読み込めば、サードパーティは adco.example です。
登録可能なドメイン(サイト):ホスト名のうち、ひとりの持ち主が管理する部分で、t.adco.example なら adco.example です。site_of(host) がそれを求めてくれます。第 6 部で自分で書きました。
普及率:何かがどれだけ広まっているかです。ここでは、あるサードパーティが現れる巡回したサイトの数(または割合)です。
辞書で数え、キーで並べ替える
集合 は各値を一度だけ保つので、「このページはどのサードパーティに連絡したか」にぴったりです。ページをまたいで数えるには辞書を使い、サードパーティが現れるページごとに 1 を足します。表を並べ替えるには、何で並べ替えるかを伝える関数である key で、その項目を並べ替えます。
table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked) # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.サードパーティは、そこで何回リクエストをしても、サイトごとに一度だけ数えることに注意してください。ひとつのサイトで 10 個のピクセルを撃つトラッカーも、ひとつのサイトにいるだけです。
TRACKER_LIST は、公開のフィルターの一覧がラベルを付けるような、既知のトラッカーのサイトのブロックリストです。一覧にあるトラッカーを少なくともひとつ読み込むサイトの割合が、多くの研究の見出しの数字です。
よくある誤解:「すべてのサードパーティはトラッカーだ」。フォント、コンテンツ配信ネットワーク、決済のウィジェットもサードパーティです。あなたの表は、最もよく現れるサードパーティのいくつかが無害であることを示すでしょう。だから研究は慎重にラベルを付けるのです。
ほかの言語では
JavaScript(Node)と Go で普及率を数える:
// JavaScript
const table = new Map();
for (const load of loads) {
const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);// Go
table := map[string]int{}
for _, load := range loads {
seen := map[string]bool{}
for _, r := range load.Requests {
s := siteOf(r.Host)
if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
}
}まとめ
- 巡回は多くのサイトを訪れ、すべてのリクエストを記録します。数えることが、それを事実に変えます。
- site_of を使ってホストをサイトにまとめ、各サードパーティをサイトごとに一度だけ数えます。
- 普及率で順位付けするにはキーで並べ替え、同点は名前で決めます。
- すべてのサードパーティがトラッカーではありません。一覧でラベルを付け、どの一覧を使ったかを述べましょう。
5 つの関数を書いてください:
third_parties(load):ページが連絡したサイト(site_of(request["host"]))の集合で、load["site"]は除きます。prevalence(loads):サードパーティのサイトから、それが現れる読み込みの数への辞書。top(table, n):最も大きいn個の(site, count)の組で、大きい順、同点はアルファベット順。cookie_setters(loads):sets_cookieが真のリクエストを少なくともひとつ持つサードパーティのサイトの集合。tracker_share(loads, tracker_list):tracker_listのサイトに少なくともひとつ連絡する読み込みの割合。
web.sites のすべてのサイトについて、順に web.visit(site) で loads を埋めます。テストはほかのシミュレーションしたウェブも巡回します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。