Программа курса Урок 51 из 156 · Создайте блокировщик
Создайте блокировщик

Точность и полнота

Почему это важно Каждый блокировщик совершает два вида ошибок: он пропускает трекеры или блокирует то, что нужно странице, и ломает сайт. Фраза "мой блокировщик работает" ничего не значит, пока вы не можете поставить число на оба пункта. Эти два числа позволяют исследователям и создателям браузеров честно сравнивать блокировщики.

A рыболовная сеть

Представьте рыболовную сеть, предназначенную только для ловли скумбрии. Два вопроса решают, хороша ли она:

  • Из всего в сети, сколько весит скумбрия? (Сеть, полная дельфинов, это плохая сеть, даже если она поймала всю скумбрию.)
  • Из всей скумбрии в море, сколько поймала сеть?

Первый вопрос это точность. Второй это полнота. Вам нужны оба: сеть без дырок ловит каждую скумбрию и каждого дельфина тоже.

Четыре коробки

Отсортируйте каждый запрос в логе в одну из четырех коробок:

BlockedРазрешено
На самом деле трекерИстинно положительный результат (tp): пойман, хорошоЛожноотрицательный результат (fn): утечка приватности
Не трекерЛожноположительный результат (fp): возможный сбойЛожноотрицательный результат (tn): хорошо

Precision: tp / (tp + fp): из того, что вы заблокировали, доля того, что реально было трекерами. Низкая точность (precision) означает сломанные страницы.

Recall: tp / (tp + fn): из всех запросов трекера, какую долю вы заблокировали. Низкая полнота (recall) означает утечки.

A пример работы. Блокировщик останавливает 40 запросов: 36 к трекерам и 4 к безобидному CDN. Еще 12 запросов трекеров прошли. Precision составляет 36 / 40 = 0.9. Recall составляет 36 / 48 = 0.75. Значит: когда он блокирует, он обычно прав, но четверть отслеживания все еще происходит.

Крайние случаи требуют решения. Если blocker ничего не заблокировал, precision была бы 0 / 0. Мы говорим 1.0: ничего не было заблокировано ошибочно. Если в логе вообще нет tracker requests, recall тоже 1.0: ничего не утекло. Запись таких соглашений является частью честного измерения.

Правда откуда-то приходит

Вы можете оценивать только по ключу ответов: набору сайтов, которые действительно являются трекерами. В практическом мире мы это знаем. В реальных исследованиях люди создают его вручную, сайт за сайтом, что медленно и несовершенно. Всегда спрашивайте, кто решил, что считается трекером.

A распространенное заблуждение

"Выше полнота (recall) всегда лучше." Блокировка каждого стороннего запроса дает идеальную полноту, но ломает логины, платежи, карты и видео. Люди потом отключают блокировщик и остаются без защиты. Чуть более низкая полнота с высокой точностью (precision) часто защищает больше людей на практике.

Попробуйте Многие расширения для блокировки показывают количество заблокированных запросов на страницу. Выберите сайт, который ведет себя неправильно с включенным блокировщиком, затем выключите его для этого сайта и посмотрите, что начнет работать. Вы только что нашел ложноположительный результат.

В других языках

JavaScript:

function score(log, trackers) {
  const s = { tp: 0, fp: 0, fn: 0, tn: 0 };
  for (const r of log) {
    const t = trackers.has(siteOf(r.url)), b = r.outcome === "blocked";
    s[t && b ? "tp" : b ? "fp" : t ? "fn" : "tn"]++;
  }
  s.precision = s.tp + s.fp ? s.tp / (s.tp + s.fp) : 1;
  s.recall = s.tp + s.fn ? s.tp / (s.tp + s.fn) : 1;
  return s;
}

Go:

precision := 1.0
if tp+fp > 0 {
    precision = float64(tp) / float64(tp+fp)
}
recall := 1.0
if tp+fn > 0 {
    recall = float64(tp) / float64(tp+fn)
}

Итог

  • Точность: из того, что вы заблокировали, сколько реально отслеживалось (низкий показатель означает поломку).
  • Итог: из всего отслеживания, сколько вы заблокировали (низкое значение означает утечки).
  • Укажите свои соглашения для граничных случаев и знайте, откуда взялся ключ ответов.
  • Блокировка всего максимизирует полноту (recall) и портит точность (precision).
Твоя очередь

Напишите score(log, trackers). Для каждой записи это запрос трекера, если site_of(record.url) in trackers, и он был заблокирован, если record.outcome == "blocked". Посчитайте tp, fp, fn и tn, и верните словарь с этими четырьмя плюс precision (tp / (tp + fp) или 1.0, если ничего не было заблокировано) и recall (tp / (tp + fn) или 1.0, если не было запросов трекера).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.