Программа курса Урок 48 из 156 · Создайте блокировщик
Создайте блокировщик

Обнаружение трекеров без list

Почему это важноСписок знает только те трекеры, которые кто-то уже нашел и записал. Новые трекеры появляются каждую неделю, и некоторые специально меняют свои имена. Поиск трекера по его поведению помогает найти тех, о ком еще не знает ни один список.

Обнаружение магазинного вора без фото

A охранник магазина со списком известных воров полезен. Но хороший охранник также следит за поведением: кто-то, кто посещает каждый магазин на улице и записывает, кто заходит внутрь. Вам не нужно знать их имя, чтобы увидеть, что они делают.

Трекеры тоже ведут себя подозрительно. В этом уроке вы ищете три улики в логе запросов браузера:

  1. Везде одновременно. Один и тот же сторонний сайт появляется на двух или более разных сайтах. Именно это позволяет объединять ваши визиты.
  2. Уникальный ID в адресе. Значение в запросе вроде cid=df0641532d7f, которое выглядит случайным: это бирка с вашим именем.
  3. A пиксель. "Изображение" размером 100 байт или меньше, слишком маленькое, чтобы что-то показать. Его единственная задача заключается в том, чтобы заставить ваш браузер отправить запрос.

Heuristic: эмпирическое правило, которое обычно верно, но не всегда, например "темные облака означают дождь". Эвристики могут находить новое, но их также можно обмануть.

Наше правило: сайт является трекером, если условие 1 истинно и хотя бы одно из условий 2 или 3 истинно. Требование условия 1 защищает безобидный cdn.example: он есть на каждом магазине, но не отправляет ID и его логотип это реальная картинка размером 2 КБ.

Насколько случайным является случайный? Энтропия, кратко

Чтобы отличить ID от обычного слова, мы измеряем, насколько перемешаны его символы. aaaa совсем не перемешан. abcd использует четыре разных символа поровну.

Shannon entropy: число, показывающее, насколько непредсказуемо что-то, в битах. Для текста: для каждого разного символа возьмите его долю p в тексте и сложите -p * log2(p). Больше разнообразия дает больше бит.

char_entropy("aaaa")   # 0.0  every character is the same
char_entropy("abab")   # 1.0  two characters, half each
char_entropy("abcd")   # 2.0  four characters, a quarter each

math.log2(p) это "сколько раз я делю 1 пополам, чтобы получить p", данное как отрицательное число, поэтому там стоит минус. collections.Counter(text) считает каждый символ за вас. Вы снова встретите эту формулу, примененную к целым толпам браузеров, в следующем модуле.

Одной энтропии недостаточно: trail-shoes тоже довольно смешанная. Поэтому looks_like_id также требует минимум 8 символов, только буквы, цифры, - или _, и как минимум одну букву и одну цифру. Слова не проходят тест на цифру; даты и URL не проходят тест на буквы или символы.

Чтение лога

Каждый record в browser.log содержит то, что вам нужно:

  • site_of(record.url) и record.top_site: если они отличаются, это третья сторона.
  • record.request.params: запрос как dict, уже декодированный.
  • record.response: None если заблокировано; иначе .header("Content-Type") и .size в байтах.

Честные пределы

A tracker на только одном сайте в вашем логе проходит незамеченным, даже если он есть на тысячах сайтов, которые вы еще не посещали. Tracker, который прячет IDs в cookie и отправляет изображение нормального размера, тоже проскальзывает. И first-party analytics script, который отправляет IDs на свой собственный сайт, вообще не является third party. Вот почему реальные блокировщики используют списки and и heuristics вместе.

Попробуйте Откройте DevTools (F12 или Cmd+Option+I на Mac), перейдите во вкладку Network, отфильтруйте по Img и загрузите новостной сайт. Отсортируйте по Size. Столбец Size учитывает заголовки ответа, поэтому пиксель, изображение которого весит всего несколько десятков байт, все равно отображается как несколько сотен. Любое такое крошечное изображение с другого сайта, скорее всего, является пикселем. Нажмите на одно и посмотрите на его query string в поиске длинного случайного значения.

В других языках

JavaScript:

function charEntropy(text) {
  if (!text) return 0;
  const counts = {};
  for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
  let bits = 0;
  for (const n of Object.values(counts)) {
    const p = n / text.length;
    bits -= p * Math.log2(p);
  }
  return bits;
}

const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
  && /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;

C#:

static double CharEntropy(string text) =>
    text.Length == 0 ? 0 :
    -text.GroupBy(c => c)
         .Select(g => (double)g.Count() / text.Length)
         .Sum(p => p * Math.Log2(p));

Итог

  • Поведение выдает трекеры: они есть на многих сайтах, отправляют случайные ID и загружают пиксели.
  • Энтропия Шеннона измеряет, насколько смешан текст; случайные ID получают высокий балл.
  • Требование "на 2 или более сайтах" защищает безобидных помощников, таких как CDN.
  • Эвристики ловят новые трекеры, но пропускают некоторые; реальные блокировщики комбинируют их со списками.
Твоя очередь

Напишите char_entropy(text) (энтропия Шеннона в битах на символ, 0.0 для пустого текста), looks_like_id(value) (минимум 8 символов, все в ID_CHARS, хотя бы одна цифра и одна буква, энтропия минимум 2.0), is_pixel(record) (ответ с Content-Type, начинающимся с image/, и размером 100 байт или меньше) и find_trackers(log), возвращая набор сайтов, которые появляются как сторонние на как минимум 2 разных топовых сайтах и отправили значение типа ID или получили пиксель. Не используйте watched.reference.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.