Обнаружение трекеров без list
Почему это важноСписок знает только те трекеры, которые кто-то уже нашел и записал. Новые трекеры появляются каждую неделю, и некоторые специально меняют свои имена. Поиск трекера по его поведению помогает найти тех, о ком еще не знает ни один список.
Обнаружение магазинного вора без фото
A охранник магазина со списком известных воров полезен. Но хороший охранник также следит за поведением: кто-то, кто посещает каждый магазин на улице и записывает, кто заходит внутрь. Вам не нужно знать их имя, чтобы увидеть, что они делают.
Трекеры тоже ведут себя подозрительно. В этом уроке вы ищете три улики в логе запросов браузера:
- Везде одновременно. Один и тот же сторонний сайт появляется на двух или более разных сайтах. Именно это позволяет объединять ваши визиты.
- Уникальный ID в адресе. Значение в запросе вроде
cid=df0641532d7f, которое выглядит случайным: это бирка с вашим именем. - A пиксель. "Изображение" размером 100 байт или меньше, слишком маленькое, чтобы что-то показать. Его единственная задача заключается в том, чтобы заставить ваш браузер отправить запрос.
Heuristic: эмпирическое правило, которое обычно верно, но не всегда, например "темные облака означают дождь". Эвристики могут находить новое, но их также можно обмануть.
Наше правило: сайт является трекером, если условие 1 истинно и хотя бы одно из условий 2 или 3 истинно. Требование условия 1 защищает безобидный cdn.example: он есть на каждом магазине, но не отправляет ID и его логотип это реальная картинка размером 2 КБ.
Насколько случайным является случайный? Энтропия, кратко
Чтобы отличить ID от обычного слова, мы измеряем, насколько перемешаны его символы. aaaa совсем не перемешан. abcd использует четыре разных символа поровну.
Shannon entropy: число, показывающее, насколько непредсказуемо что-то, в битах. Для текста: для каждого разного символа возьмите его долю p в тексте и сложите -p * log2(p). Больше разнообразия дает больше бит.
char_entropy("aaaa") # 0.0 every character is the same
char_entropy("abab") # 1.0 two characters, half each
char_entropy("abcd") # 2.0 four characters, a quarter eachmath.log2(p) это "сколько раз я делю 1 пополам, чтобы получить p", данное как отрицательное число, поэтому там стоит минус. collections.Counter(text) считает каждый символ за вас. Вы снова встретите эту формулу, примененную к целым толпам браузеров, в следующем модуле.
Одной энтропии недостаточно: trail-shoes тоже довольно смешанная. Поэтому looks_like_id также требует минимум 8 символов, только буквы, цифры, - или _, и как минимум одну букву и одну цифру. Слова не проходят тест на цифру; даты и URL не проходят тест на буквы или символы.
Чтение лога
Каждый record в browser.log содержит то, что вам нужно:
site_of(record.url)иrecord.top_site: если они отличаются, это третья сторона.record.request.params: запрос как dict, уже декодированный.record.response:Noneесли заблокировано; иначе.header("Content-Type")и.sizeв байтах.
Честные пределы
A tracker на только одном сайте в вашем логе проходит незамеченным, даже если он есть на тысячах сайтов, которые вы еще не посещали. Tracker, который прячет IDs в cookie и отправляет изображение нормального размера, тоже проскальзывает. И first-party analytics script, который отправляет IDs на свой собственный сайт, вообще не является third party. Вот почему реальные блокировщики используют списки and и heuristics вместе.
Попробуйте Откройте DevTools (F12 или Cmd+Option+I на Mac), перейдите во вкладку Network, отфильтруйте по Img и загрузите новостной сайт. Отсортируйте по Size. Столбец Size учитывает заголовки ответа, поэтому пиксель, изображение которого весит всего несколько десятков байт, все равно отображается как несколько сотен. Любое такое крошечное изображение с другого сайта, скорее всего, является пикселем. Нажмите на одно и посмотрите на его query string в поиске длинного случайного значения.
В других языках
JavaScript:
function charEntropy(text) {
if (!text) return 0;
const counts = {};
for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
let bits = 0;
for (const n of Object.values(counts)) {
const p = n / text.length;
bits -= p * Math.log2(p);
}
return bits;
}
const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
&& /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;C#:
static double CharEntropy(string text) =>
text.Length == 0 ? 0 :
-text.GroupBy(c => c)
.Select(g => (double)g.Count() / text.Length)
.Sum(p => p * Math.Log2(p));Итог
- Поведение выдает трекеры: они есть на многих сайтах, отправляют случайные ID и загружают пиксели.
- Энтропия Шеннона измеряет, насколько смешан текст; случайные ID получают высокий балл.
- Требование "на 2 или более сайтах" защищает безобидных помощников, таких как CDN.
- Эвристики ловят новые трекеры, но пропускают некоторые; реальные блокировщики комбинируют их со списками.
Напишите char_entropy(text) (энтропия Шеннона в битах на символ, 0.0 для пустого текста), looks_like_id(value) (минимум 8 символов, все в ID_CHARS, хотя бы одна цифра и одна буква, энтропия минимум 2.0), is_pixel(record) (ответ с Content-Type, начинающимся с image/, и размером 100 байт или меньше) и find_trackers(log), возвращая набор сайтов, которые появляются как сторонние на как минимум 2 разных топовых сайтах и отправили значение типа ID или получили пиксель. Не используйте watched.reference.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.