ブロックリストの仕組み
なぜ大切か 今日の世界のトラッカーのブロックのほとんどは、拡張機能でもブラウザでも、規則を書いたただのテキストのファイルから始まります。そのファイルを読めるようになれば、ブロッカーが何を止め、何を止めないのか、そしてサイトがときどき壊れる理由が正確にわかります。
一覧を持った用心棒
クラブの扉で、印刷した一覧を持った用心棒を思い浮かべてください。「この人たちは入れないこと」、そして短いメモ「ただしこの常連は除く」。用心棒は誰も判断しません。名前を一覧と照らし合わせるだけです。
ブロッカーも同じように働きます。ページが何か(スクリプト、画像、ピクセル)を求めるたびに、ブロッカーはアドレスを一覧と照らし合わせ、許可 か ブロック かを言います。
フィルターの一覧:1 行にひとつの規則を書いた、どのリクエストを止めるかをブロッカーに伝えるテキストのファイルです。最もよく知られた系統は EasyList で、ほとんどのブロッカーが理解する Adblock Plus の書き方で書かれています。
リクエスト:「https://adco.example/tag.js を送って」のような、ブラウザからサーバーへの依頼ひとつです。ひとつのページはふつう多くのリクエストをします。
書き方、練習用の小さな一部分
本物の一覧には何万もの行と多くの追加の機能があります。ここでは、同じ中核の書き方を持つ、でっち上げの小さな練習用の一覧を使います。それがこれです(watched.leg2b_blocker.PRACTICE_LIST にあります):
[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)
||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party
! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?
! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored| 行の見た目 | 意味 |
|---|---|
! ... か [...] | コメントか見出し。飛ばす。 |
||adco.example^ | ドメインの規則:adco.example と、img.adco.example のようなすべてのサブドメインをブロックする。^ はホスト名の終わりを示す。 |
/p.gif? | パターンの規則:このテキストを含むどんなアドレスもブロックする。中の * は「ここに任意の文字」という意味。 |
@@... | 例外:ブロックの規則も一致していても、許可する。 |
...$third-party | オプション:リクエストが今いるページとは違うサイトへ行くときだけ、この規則を当てはめる。 |
##.ad-banner | 見た目の規則:ページの一部を隠す。決してリクエストを止めないので、ネットワークのブロッカーは飛ばす。 |
サードパーティ:アドレスバーのものとは違うサイトへのリクエストです。shopa.example の上で、adco.example へのリクエストはサードパーティで、shopa.example そのものへのものはファーストパーティです。
行をデータに変える
プログラムは、リクエストのたびにテキストを読み直したくありません。だから最初の仕事は 解析 です。起動のときに一度だけ、各行を小さな辞書に変えます。
解析:テキストを読み、プログラムが直接使える構造化されたデータに変えることです。手書きの買い物の一覧を、書類の印の付いた欄に変えるようなものです。
規則の辞書には 4 つのキーがあります:
parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
# 'value': 'metrics.example', 'third_party': True}
parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
# 'value': '/assets/p.gif?', 'third_party': False}
parse_rule("! just a comment")
# NonePython の 2 つの文字列の道具が、仕事のほとんどをこなします。line.startswith("@@") は行がどう始まるかを確かめます。line.rsplit("$", 1) は 最後の $ で一度だけ分割し、規則のテキストとオプションを返すので、"a$b".rsplit("$", 1) は ["a", "b"] です。
よくある誤解
「ブロックリストは広告をブロックする」。多くはそうですが、プライバシーにとって大事な一覧(EasyPrivacy など)が狙うのは、画面では決して見えない、ピクセル、ビーコン、アクセス解析のスクリプトといったトラッカーです。ページが広告をひとつも表示しなくても、訪問を 5 つの会社に送っていることがあります。
試してみよう ブロッカーの拡張機能を入れたデスクトップのブラウザで、拡張機能の設定を開き、そのフィルターの一覧を見つけてください。ほとんどは一覧をただのテキストとして見られます。|| と @@ で始まる行を探してください。それこそが、これから解析する規則です。
ほかの言語では
JavaScript:
function parseRule(line) {
line = line.trim();
if (!line || line.startsWith("!") || line.startsWith("[")) return null;
if (line.includes("##") || line.includes("#@#")) return null;
const exception = line.startsWith("@@");
if (exception) line = line.slice(2);
let thirdParty = false;
const at = line.lastIndexOf("$");
if (at >= 0) {
thirdParty = line.slice(at + 1).split(",").includes("third-party");
line = line.slice(0, at);
}
const isDomain = line.startsWith("||");
const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
return { exception, kind: isDomain ? "domain" : "pattern",
value: value.toLowerCase(), thirdParty };
}Rust:
struct Rule { exception: bool, domain: bool, value: String, third_party: bool }
fn parse_rule(line: &str) -> Option<Rule> {
let mut l = line.trim();
if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
return None;
}
let exception = l.starts_with("@@");
if exception { l = &l[2..]; }
let mut third_party = false;
if let Some((rule, opts)) = l.rsplit_once('$') {
third_party = opts.split(',').any(|o| o == "third-party");
l = rule;
}
let domain = l.starts_with("||");
let v = if domain { l[2..].trim_end_matches('^') } else { l };
Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}まとめ
- フィルターの一覧はただのテキストです。ドメインの規則(
||host^)、パターンの規則、例外(@@)、オプション($third-party)。 - 見た目の規則(
##)はページの一部を隠し、決してリクエストを止めません。 - 一度だけ単純な辞書に解析すれば、後の照合が速くわかりやすくなります。
空の行、コメント(!)、見出し([)、見た目(## か #@#)の行には None を返し、それ以外ではキー exception、kind("domain" か "pattern")、value(小文字で、||、末尾の ^、@@、$options を除いたもの)、third_party を持つ辞書を返す parse_rule(line) を書いてください。次に、すべての行について規則のリストを順に返し、None の結果は除く parse_list(text) を書きます。コース自身の解析器は読み込まないでください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。