سرفصل‌ها درس 46 از 156 · یک مسدودکننده بسازید
یک مسدودکننده بسازید

فهرست‌های مسدودسازی چطور کار می‌کنند

چرا مهم است بیشتر مسدودسازی ردیاب در جهان امروز، در افزونه‌ها و در مرورگرها، با یک فایل متنی ساده از قواعد شروع می‌شود. وقتی بتوانید آن فایل را بخوانید، دقیقاً می‌بینید یک مسدودکننده چه چیزی را متوقف می‌کند و چه چیزی را نه، و چرا یک سایت گاهی می‌شکند.

دربانی با یک فهرست

دربانی را دم در یک باشگاه تصور کنید که فهرستی چاپی در دست دارد: «این آدم‌ها را راه نده»، به‌علاوهٔ یک یادداشت کوتاه: «جز این مشتری‌های همیشگی». دربان دربارهٔ کسی قضاوت نمی‌کند؛ فقط نام‌ها را با فهرست مقایسه می‌کند.

یک مسدودکننده هم همین‌طور کار می‌کند. هر بار که یک صفحه چیزی می‌خواهد (یک اسکریپت، یک تصویر، یک پیکسل)، مسدودکننده نشانی را با فهرستش مقایسه می‌کند و می‌گوید اجازه یا مسدود.

فهرست فیلتر (filter list): یک فایل متنی از قواعد، یکی در هر خط، که به یک مسدودکننده می‌گوید کدام درخواست‌ها را متوقف کند. شناخته‌شده‌ترین خانواده EasyList است، که با نحو Adblock Plus نوشته شده که بیشتر مسدودکننده‌ها می‌فهمند.

درخواست (request): یک خواسته از مرورگرتان به یک سرور، مانند «https://adco.example/tag.js را برایم بفرست». یک صفحه معمولاً درخواست‌های بسیاری می‌فرستد.

نحو، یک زیرمجموعهٔ تمرینی کوچک

فهرست‌های واقعی ده‌ها هزار خط و قابلیت‌های اضافهٔ بسیاری دارند. ما از یک فهرست تمرینی کوچک و ساختگی با همان نحو اصلی استفاده می‌کنیم. این است (در watched.leg2b_blocker.PRACTICE_LIST قرار دارد):

[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)

||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party

! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?

! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored
خط شبیه این استمعنا
! ... یا [...]یک توضیح یا یک سرآیند. از آن بگذرید.
||adco.example^یک قاعدهٔ دامنه: adco.example و هر زیردامنه‌اش، مانند img.adco.example، را مسدود کن. ^ پایان نام میزبان را نشان می‌دهد.
/p.gif?یک قاعدهٔ الگو: هر نشانی‌ای را که این متن را دارد مسدود کن. یک * در درون یعنی «هر نویسه‌ای اینجا».
@@...یک استثنا: اجازه بده، حتی اگر یک قاعدهٔ مسدودسازی هم جور شود.
...$third-partyیک گزینه: این قاعده را فقط وقتی اعمال کن که درخواست به سایتی متفاوت از صفحه‌ای که رویش هستید برود.
##.ad-bannerیک قاعدهٔ ظاهری (cosmetic): بخشی از صفحه را پنهان کن. هرگز درخواستی را متوقف نمی‌کند، پس یک مسدودکنندهٔ شبکه از آن می‌گذرد.

شخص ثالث: درخواستی به سایتی متفاوت از سایت نوار نشانی شما. روی shopa.example، درخواستی به adco.example شخص ثالث است؛ درخواستی به خود shopa.example شخص اول است.

تبدیل یک خط به داده

برنامه‌ها نمی‌خواهند متن را برای هر درخواست دوباره بخوانند. پس اولین کار تجزیه است: تبدیل هر خط به یک dict کوچک، یک بار، هنگام راه‌اندازی.

تجزیه (parsing): خواندن متن و تبدیل آن به دادهٔ ساختاریافته‌ای که یک برنامه مستقیم بتواند به کار ببرد، مثل تبدیل یک فهرست خرید نوشته‌شده به خانه‌های تیک‌خورده روی یک فرم.

dict قاعدهٔ ما چهار کلید دارد:

parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
#  'value': 'metrics.example', 'third_party': True}

parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
#  'value': '/assets/p.gif?', 'third_party': False}

parse_rule("! just a comment")
# None

دو ابزار رشته‌ای Python بیشتر کار را انجام می‌دهند. line.startswith("@@") بررسی می‌کند یک خط چطور شروع می‌شود. line.rsplit("$", 1) یک بار در آخرین $ جدا می‌کند، و متن قاعده و گزینه‌ها را می‌دهد، پس "a$b".rsplit("$", 1) برابر ["a", "b"] است.

یک تصور نادرست رایج

«فهرست‌های مسدودسازی آگهی‌ها را مسدود می‌کنند.» بسیاری می‌کنند، اما فهرست‌هایی که برای حریم خصوصی مهم‌اند (مانند EasyPrivacy) ردیاب‌ها را هدف می‌گیرند: پیکسل‌ها، بیکن‌ها و اسکریپت‌های تحلیل، که هرگز روی صفحه نمی‌بینید. یک صفحه می‌تواند اصلاً هیچ آگهی‌ای نشان ندهد و همچنان بازدید شما را برای پنج شرکت بفرستد.

امتحان کنید در یک مرورگر رومیزی که یک افزونهٔ مسدودکننده روی آن نصب است، تنظیمات افزونه را باز کنید و فهرست‌های فیلترش را پیدا کنید. بیشتر آن‌ها اجازه می‌دهند یک فهرست را به‌صورت متن ساده ببینید. دنبال خط‌هایی بگردید که با || و @@ شروع می‌شوند: دقیقاً همان قواعدی‌اند که قرار است تجزیه کنید.

در زبان‌های دیگر

JavaScript:

function parseRule(line) {
  line = line.trim();
  if (!line || line.startsWith("!") || line.startsWith("[")) return null;
  if (line.includes("##") || line.includes("#@#")) return null;
  const exception = line.startsWith("@@");
  if (exception) line = line.slice(2);
  let thirdParty = false;
  const at = line.lastIndexOf("$");
  if (at >= 0) {
    thirdParty = line.slice(at + 1).split(",").includes("third-party");
    line = line.slice(0, at);
  }
  const isDomain = line.startsWith("||");
  const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
  return { exception, kind: isDomain ? "domain" : "pattern",
           value: value.toLowerCase(), thirdParty };
}

Rust:

struct Rule { exception: bool, domain: bool, value: String, third_party: bool }

fn parse_rule(line: &str) -> Option<Rule> {
    let mut l = line.trim();
    if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
        return None;
    }
    let exception = l.starts_with("@@");
    if exception { l = &l[2..]; }
    let mut third_party = false;
    if let Some((rule, opts)) = l.rsplit_once('$') {
        third_party = opts.split(',').any(|o| o == "third-party");
        l = rule;
    }
    let domain = l.starts_with("||");
    let v = if domain { l[2..].trim_end_matches('^') } else { l };
    Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}

خلاصه

  • یک فهرست فیلتر متن ساده است: قواعد دامنه (||host^)، قواعد الگو، استثناها (@@) و گزینه‌ها ($third-party).
  • قواعد ظاهری (##) بخش‌هایی از صفحه را پنهان می‌کنند و هرگز درخواستی را متوقف نمی‌کنند.
  • یک بار به dictهای ساده تجزیه کنید تا تطبیق بعدی سریع و روشن باشد.
نوبت شما

parse_rule(line) را بنویسید که برای خط‌های خالی، توضیح (!)، سرآیند ([) و ظاهری (## یا #@#) مقدار None برمی‌گرداند، و در غیر این صورت یک dict با کلیدهای exception، kind ("domain" یا "pattern")، value (با حروف کوچک، بدون ||، ^ پایانی، @@ یا $options) و third_party. سپس parse_list(text) را بنویسید که فهرست قواعد همهٔ خط‌ها را به ترتیب برمی‌گرداند، و نتیجه‌های None را کنار می‌گذارد. تجزیه‌گر خود دوره را import نکنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.