Chương trình học Bài 46 trên tổng số 156 · Xây một bộ chặn
Xây một bộ chặn

Danh sách chặn hoạt động thế nào

Vì sao điều này quan trọng Phần lớn việc chặn bên theo dõi trên thế giới ngày nay, trong tiện ích mở rộng và trong trình duyệt, bắt đầu từ một tệp văn bản trơn chứa các quy tắc. Một khi bạn đọc được tệp đó, bạn thấy chính xác một bộ chặn sẽ ngăn và không ngăn những gì, và vì sao đôi khi một trang bị hỏng.

Một người gác cửa với một danh sách

Hãy hình dung một người gác cửa câu lạc bộ cầm một danh sách in sẵn: "không cho những người này vào", kèm một ghi chú ngắn: "trừ những khách quen này". Người gác cửa không phán xét ai; họ chỉ dò tên với danh sách.

Một bộ chặn hoạt động y như vậy. Mỗi lần một trang xin thứ gì đó (một script, một bức ảnh, một pixel), bộ chặn dò địa chỉ với danh sách của nó và nói cho phép hoặc chặn.

Danh sách bộ lọc: một tệp văn bản gồm các quy tắc, mỗi dòng một quy tắc, cho một bộ chặn biết nên ngăn những yêu cầu nào. Họ danh sách nổi tiếng nhất là EasyList, được viết bằng cú pháp Adblock Plus mà phần lớn bộ chặn hiểu được.

Yêu cầu: một lần trình duyệt của bạn xin một máy chủ, như "gửi cho tôi https://adco.example/tag.js". Một trang thường thực hiện nhiều yêu cầu.

Cú pháp, một tập con luyện tập nhỏ

Các danh sách thật có hàng chục nghìn dòng và nhiều tính năng bổ sung. Ta dùng một danh sách luyện tập nhỏ, tự chế, với cùng cú pháp cốt lõi. Nó đây (nó nằm trong watched.leg2b_blocker.PRACTICE_LIST):

[Adblock Plus 2.0]
! Title: Watched Practice List (made up for the course)

||adco.example^
||metrics.example^$third-party
||trackmore.example^
/p.gif?
*/collect?*cid=
/beacon/*/hit$third-party

! Exceptions: things that look like trackers but are needed
@@||cdn.example^
@@/assets/p.gif?

! Cosmetic rules (hide page parts). A network blocker ignores these.
##.ad-banner
shopc.example##.sponsored
Dòng trông nhưÝ nghĩa
! ... hoặc [...]Một chú thích hoặc một tiêu đề. Bỏ qua nó.
||adco.example^Một quy tắc tên miền: chặn adco.example và mọi tên miền con, như img.adco.example. Dấu ^ đánh dấu điểm kết thúc của tên máy chủ.
/p.gif?Một quy tắc mẫu: chặn bất kỳ địa chỉ nào chứa đoạn văn bản này. Một dấu * bên trong nghĩa là "bất kỳ ký tự nào ở đây".
@@...Một ngoại lệ: cho phép nó, kể cả khi một quy tắc chặn cũng khớp.
...$third-partyMột tùy chọn: chỉ áp dụng quy tắc này khi yêu cầu đi tới một trang khác với trang bạn đang ở.
##.ad-bannerMột quy tắc hiển thị (cosmetic): ẩn một phần của trang. Nó không bao giờ ngăn một yêu cầu, nên một bộ chặn mạng bỏ qua nó.

Bên thứ ba: một yêu cầu tới một trang khác với trang trên thanh địa chỉ của bạn. Trên shopa.example, một yêu cầu tới adco.example là bên thứ ba; một yêu cầu tới chính shopa.example là bên thứ nhất.

Biến một dòng thành dữ liệu

Các chương trình không muốn đọc lại văn bản cho mỗi yêu cầu. Nên việc đầu tiên là phân tích (parsing): biến mỗi dòng thành một dict nhỏ một lần, lúc khởi động.

Phân tích: đọc văn bản và biến nó thành dữ liệu có cấu trúc mà một chương trình dùng trực tiếp được, như biến một danh sách mua sắm viết tay thành các ô đánh dấu trên một biểu mẫu.

Dict quy tắc của ta có bốn khóa:

parse_rule("||metrics.example^$third-party")
# {'exception': False, 'kind': 'domain',
#  'value': 'metrics.example', 'third_party': True}

parse_rule("@@/assets/p.gif?")
# {'exception': True, 'kind': 'pattern',
#  'value': '/assets/p.gif?', 'third_party': False}

parse_rule("! just a comment")
# None

Hai công cụ chuỗi của Python làm phần lớn việc. line.startswith("@@") kiểm tra một dòng bắt đầu ra sao. line.rsplit("$", 1) tách một lần tại dấu $ cuối cùng, cho ra văn bản quy tắc và các tùy chọn, nên "a$b".rsplit("$", 1) là ["a", "b"].

Một hiểu lầm phổ biến

"Danh sách chặn là để chặn quảng cáo." Nhiều danh sách làm vậy, nhưng những danh sách quan trọng cho quyền riêng tư (như EasyPrivacy) nhắm vào các bên theo dõi: pixel, beacon và script phân tích, những thứ bạn không bao giờ thấy trên màn hình. Một trang có thể hoàn toàn không hiện quảng cáo mà vẫn gửi lượt ghé của bạn cho năm công ty.

Tự thử Trong một trình duyệt máy tính có cài tiện ích chặn, mở thiết lập của tiện ích và tìm các danh sách bộ lọc của nó. Phần lớn cho phép bạn xem một danh sách dưới dạng văn bản trơn. Tìm các dòng bắt đầu bằng || và @@: chúng chính là các quy tắc bạn sắp phân tích.

Trong các ngôn ngữ khác

JavaScript:

function parseRule(line) {
  line = line.trim();
  if (!line || line.startsWith("!") || line.startsWith("[")) return null;
  if (line.includes("##") || line.includes("#@#")) return null;
  const exception = line.startsWith("@@");
  if (exception) line = line.slice(2);
  let thirdParty = false;
  const at = line.lastIndexOf("$");
  if (at >= 0) {
    thirdParty = line.slice(at + 1).split(",").includes("third-party");
    line = line.slice(0, at);
  }
  const isDomain = line.startsWith("||");
  const value = isDomain ? line.slice(2).replace(/\^$/, "") : line;
  return { exception, kind: isDomain ? "domain" : "pattern",
           value: value.toLowerCase(), thirdParty };
}

Rust:

struct Rule { exception: bool, domain: bool, value: String, third_party: bool }

fn parse_rule(line: &str) -> Option<Rule> {
    let mut l = line.trim();
    if l.is_empty() || l.starts_with('!') || l.starts_with('[') || l.contains("##") {
        return None;
    }
    let exception = l.starts_with("@@");
    if exception { l = &l[2..]; }
    let mut third_party = false;
    if let Some((rule, opts)) = l.rsplit_once('$') {
        third_party = opts.split(',').any(|o| o == "third-party");
        l = rule;
    }
    let domain = l.starts_with("||");
    let v = if domain { l[2..].trim_end_matches('^') } else { l };
    Some(Rule { exception, domain, value: v.to_lowercase(), third_party })
}

Tóm tắt

  • Một danh sách bộ lọc là văn bản trơn: quy tắc tên miền (||host^), quy tắc mẫu, ngoại lệ (@@) và tùy chọn ($third-party).
  • Quy tắc hiển thị (##) ẩn các phần của trang và không bao giờ ngăn một yêu cầu.
  • Phân tích một lần thành các dict đơn giản để việc so khớp về sau nhanh và rõ ràng.
Đến lượt bạn

Viết parse_rule(line) trả về None cho các dòng trống, chú thích (!), tiêu đề ([) và hiển thị (## hoặc #@#), còn lại thì trả về một dict với các khóa exception, kind ("domain" hoặc "pattern"), value (chữ thường, không có ||, dấu ^ ở cuối, @@ hay $options) và third_party. Rồi viết parse_list(text) trả về list các quy tắc cho mọi dòng, theo thứ tự, bỏ ra các kết quả None. Đừng import bộ phân tích của chính khóa học.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.