Chương trình học Bài 51 trên tổng số 156 · Xây một bộ chặn
Xây một bộ chặn

Precision và recall

Vì sao điều này quan trọng Mọi bộ chặn đều mắc hai kiểu lỗi: nó để lọt các bên theo dõi, hoặc nó chặn thứ một trang cần và làm hỏng trang. Nói "bộ chặn của tôi hoạt động" chẳng có nghĩa gì cho tới khi bạn gắn được một con số cho cả hai. Hai con số này là cách các nhà nghiên cứu, và các bên làm trình duyệt, so sánh các bộ chặn một cách trung thực.

Một tấm lưới đánh cá

Hãy hình dung một tấm lưới đánh cá chỉ dành để bắt cá thu. Hai câu hỏi quyết định nó có tốt không:

  • Trong mọi thứ ở trong lưới, bao nhiêu là cá thu? (Một tấm lưới đầy cá heo là một tấm lưới tồi, kể cả khi nó bắt được hết cá thu.)
  • Trong tất cả cá thu ở biển, lưới bắt được bao nhiêu con?

Câu hỏi thứ nhất là precision (độ chính xác). Câu thứ hai là recall (độ phủ). Bạn cần cả hai: một tấm lưới không có lỗ nào bắt mọi con cá thu và cả mọi con cá heo.

Bốn ô

Xếp mọi yêu cầu trong nhật ký vào một trong bốn ô:

Bị chặnĐược cho phép
Thật sự là bên theo dõiDương tính thật (tp): đã bắt, tốtÂm tính giả (fn): một lần rò rỉ quyền riêng tư
Không phải bên theo dõiDương tính giả (fp): có thể làm hỏng trangÂm tính thật (tn): ổn

Precision: tp / (tp + fp): trong những gì bạn đã chặn, tỷ lệ thật sự là bên theo dõi. Precision thấp nghĩa là các trang bị hỏng.

Recall: tp / (tp + fn): trong tất cả các yêu cầu theo dõi, tỷ lệ bạn đã chặn. Recall thấp nghĩa là rò rỉ.

Một ví dụ đã giải. Một bộ chặn ngăn 40 yêu cầu: 36 tới các bên theo dõi và 4 tới CDN vô hại. 12 yêu cầu theo dõi khác lọt qua. Precision là 36 / 40 = 0.9. Recall là 36 / 48 = 0.75. Vậy: khi nó chặn, nó thường đúng, nhưng một phần tư việc theo dõi vẫn diễn ra.

Các trường hợp biên cần một quyết định. Nếu bộ chặn không chặn gì, precision sẽ là 0 / 0. Ta nói là 1.0: không có gì bị chặn sai. Nếu nhật ký hoàn toàn không có yêu cầu theo dõi nào, recall cũng là 1.0: không có gì rò rỉ. Ghi lại những quy ước như vậy là một phần của việc đo lường trung thực.

Sự thật đến từ đâu đó

Bạn chỉ chấm điểm được dựa trên một đáp án: tập các trang thật sự là bên theo dõi. Trong thế giới luyện tập ta biết nó. Trong nghiên cứu thật, người ta dựng nó bằng tay, từng trang một, việc đó chậm và không hoàn hảo. Hãy luôn hỏi ai đã quyết định cái gì được tính là bên theo dõi.

Một hiểu lầm phổ biến

"Recall cao hơn luôn tốt hơn." Chặn mọi yêu cầu bên thứ ba cho recall hoàn hảo, và nó làm hỏng đăng nhập, thanh toán, bản đồ và video. Khi đó mọi người tắt bộ chặn và rốt cuộc không có sự bảo vệ nào. Một recall thấp hơn một chút với precision cao thường bảo vệ được nhiều người hơn trong thực tế.

Tự thử Nhiều tiện ích chặn hiện số yêu cầu bị chặn trên mỗi trang. Chọn một trang trục trặc khi bộ chặn bật, rồi tắt nó cho trang đó và xem cái gì bắt đầu hoạt động. Bạn vừa tìm ra một dương tính giả.

Trong các ngôn ngữ khác

JavaScript:

function score(log, trackers) {
  const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
  for (const r of log) {
    const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
    s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
  }
  s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
  s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
  return s;
}

Go:

precision := 1.0
if tp+fp > 0 {
    precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
    recall = float64(tp) / float64(tp+fn)
}

Tóm tắt

  • Precision: trong những gì bạn đã chặn, bao nhiêu thật sự là theo dõi (thấp nghĩa là hỏng trang).
  • Recall: trong toàn bộ việc theo dõi, bạn đã chặn bao nhiêu (thấp nghĩa là rò rỉ).
  • Nói rõ các quy ước cho trường hợp biên của bạn, và biết đáp án đến từ đâu.
  • Chặn mọi thứ tối đa hóa recall và phá hỏng precision.
Đến lượt bạn

Viết score(log, trackers). Với mỗi bản ghi, nó là một yêu cầu theo dõi nếu site_of(record.url) in trackers và nó đã bị chặn nếu record.outcome == "blocked". Đếm tp, fp, fn và tn, và trả về một dict với bốn cái đó cộng precision (tp / (tp + fp), hoặc 1.0 khi không có gì bị chặn) và recall (tp / (tp + fn), hoặc 1.0 khi không có yêu cầu theo dõi nào).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.