シラバス レッスン 156 中 48 · ブロッカーを作る
ブロッカーを作る

一覧なしでトラッカーを見つける

なぜ大切か 一覧が知っているのは、誰かがすでに見つけて書き留めたトラッカーだけです。新しいトラッカーは毎週現れ、わざと名前を変えるものもあります。振る舞いでトラッカーを見抜けば、どの一覧もまだ聞いたことのないものを捕まえられます。

写真なしで万引きを見抜く

既知の万引き犯の一覧を持った店の警備員は役に立ちます。でも良い警備員は振る舞いも見ます。通りのすべての店を訪れ、誰が入るかを書き留める人です。何をしているかを見るのに、名前は要りません。

トラッカーにも、正体を明かす振る舞いがあります。このレッスンでは、ブラウザのリクエストのログで 3 つの手がかりを探します:

  1. 同時にどこにでもいる。 同じサードパーティのサイトが、2 つ以上の違うサイトに現れます。それで訪問を結びつけられるのです。
  2. アドレスの中の固有の ID。 cid=df0641532d7f のような、ランダムに見えるクエリの値。それはあなたの名札です。
  3. ピクセル。 100 バイト以下の「画像」で、何かを表示するには小さすぎます。唯一の仕事は、ブラウザにリクエストを送らせることです。

経験則:「黒い雲は雨を意味する」のような、たいてい正しいけれど常にではない目安です。経験則は新しいものを捕まえられますが、だまされることもあります。

規則:手がかり 1 が真 かつ 手がかり 2 か 3 の少なくともひとつが真なら、そのサイトはトラッカーです。手がかり 1 を求めれば、無害な cdn.example は安全なままです。それはどの店にもありますが、ID を送らず、ロゴは本物の 2 KB の画像です。

ランダムとはどれくらいランダムか? エントロピー、手短に

ID とふつうの単語を見分けるため、その文字がどれだけ混ざり合っているかを測ります。aaaa はまったく混ざっていません。abcd は 4 つの違う文字を均等に使っています。

シャノンエントロピー:何かがどれだけ予測できないかを表すビットの数です。テキストなら、異なる文字ごとにテキストに占める割合 p を取り、-p * log2(p) を足し合わせます。多様なほど、多くのビットになります。

char_entropy("aaaa")   # 0.0  every character is the same
char_entropy("abab")   # 1.0  two characters, half each
char_entropy("abcd")   # 2.0  four characters, a quarter each

math.log2(p) は「1 を何回半分にすれば p になるか」を負の数で表したもので、だからマイナス記号があるのです。collections.Counter(text) が各文字を数えてくれます。次のモジュールでは、この同じ式に、ブラウザの群衆全体に当てはめた形でまた出会います。

エントロピーだけでは足りません。trail-shoes もかなり混ざっています。だから looks_like_id は、少なくとも 8 文字で、文字、数字、-、_ だけで、少なくともひとつの文字とひとつの数字があることも求めます。単語は数字の確認で落ち、日付と URL は文字か文字種の確認で落ちます。

ログを読む

browser.log の各 record には、必要なものがあります:

  • site_of(record.url) と record.top_site:違えばサードパーティです。
  • record.request.params:すでにデコードされた、辞書としてのクエリ。
  • record.response:ブロックされれば None、そうでなければ .header("Content-Type") とバイトでの .size。

正直な限界

ログの中でひとつのサイトにしかいないトラッカーは、まだ訪れていない何千ものサイトにいても、気づかれずに通ります。Cookie に ID を隠し、ふつうの大きさの画像を送るトラッカーもすり抜けます。そして自分のサイトに ID を送るファーストパーティのアクセス解析のスクリプトは、そもそもサードパーティではありません。だから本物のブロッカーは、一覧 と 経験則を一緒に使うのです。

試してみよう DevTools(F12、Mac なら Cmd+Option+I)を開き、Network タブに行き、Img で絞り込み、ニュースサイトを読み込んでください。Size で並べ替えます。Size の列はレスポンスヘッダーも数えるので、画像が数十バイトしかないピクセルでも数百と表示されます。別のサイトからのそれほど小さな画像は、どれもピクセルである可能性がとても高いです。ひとつをクリックし、そのクエリ文字列に長いランダムな値がないかを見てください。

ほかの言語では

JavaScript:

function charEntropy(text) {
  if (!text) return 0;
  const counts = {};
  for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
  let bits = 0;
  for (const n of Object.values(counts)) {
    const p = n / text.length;
    bits -= p * Math.log2(p);
  }
  return bits;
}

const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
  && /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;

C#:

static double CharEntropy(string text) =>
    text.Length == 0 ? 0 :
    -text.GroupBy(c => c)
         .Select(g => (double)g.Count() / text.Length)
         .Sum(p => p * Math.Log2(p));

まとめ

  • 振る舞いがトラッカーの正体を明かします。多くのサイトにいる、ランダムな ID を送る、ピクセルを取ってくる。
  • シャノンエントロピーはテキストがどれだけ混ざっているかを測り、ランダムな ID は高い点数を取ります。
  • 「2 つ以上のサイトにいる」を求めれば、CDN のような無害な手伝いを守れます。
  • 経験則は新しいトラッカーを捕まえますが、いくつかを見落とします。本物のブロッカーはそれを一覧と組み合わせます。
あなたの番

char_entropy(text)(1 文字あたりのビットでのシャノンエントロピー、空のテキストなら 0.0)、looks_like_id(value)(少なくとも 8 文字、すべて ID_CHARS の中、少なくともひとつの数字とひとつの文字、エントロピーが少なくとも 2.0)、is_pixel(record)(Content-Type が image/ で始まり、大きさが 100 バイト以下のレスポンス)、そして、少なくとも 2 つの違うトップサイトでサードパーティとして現れ、ID のようなクエリの値を送ったかピクセルを受け取ったサイトの集合を返す find_trackers(log) を書いてください。watched.reference は使わないでください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。