Как устроены исследования приватности
Почему это важно Большая часть того, что мы знаем о веб-отслеживании, например сколько сайтов несут трекеры или какие компании охватывают больше всего людей, получена из исследований, которые автоматически загружают тысячи сайтов и записывают происходящее. Зная, как устроены такие исследования, вы сможете оценить число в заголовке, а на следующих уроках провести собственное.
Представьте учёт птиц. Добровольцы проходят одни и те же маршруты в одно и то же время года и считают, что видят. Подсчёт хорош настолько, насколько хорош метод: гуляйте только в солнечных парках - и пропустите сов. Веб-исследования такие же. Число вроде "на 80% сайтов есть трекер" ничего не значит, пока не знаешь, какие сайты, откуда и как их посещали.
Краулер: программа, которая автоматически посещает веб-страницы одну за другой и записывает, что находит.
Сплошное исследование: измерение, которое пытается посетить каждый сайт в большом заданном наборе (например, миллион самых популярных сайтов), а не горстку, чтобы можно было сказать, насколько что-то распространено.
Инструментирование: дополнительная запись, добавленная в браузер, чтобы исследование видело каждый запрос, cookie и вызов из скрипта, который делает страница, а не только то, что появляется на экране.
Как работает современное исследование
- Выберите сайты. Обычно - публичный рейтинг популярных сайтов, иногда случайная выборка, иногда одна категория (новости, здоровье).
- Управляйте настоящим браузером. Простые загрузки пропускают большинство трекеров, потому что трекеры загружаются скриптами. Исследования управляют настоящим браузером, который выполняет код страницы.
- Записывайте всё. Запросы и ответы, установленные cookie, какие функции браузера использовал каждый скрипт (например, чтение canvas - подсказка fingerprinting) и перенаправления.
- Разметьте и посчитайте. Сопоставьте третьи стороны со списками трекеров, затем посчитайте, как часто каждая встречается.
Известный пример - OpenWPM, инструмент измерения с открытым кодом, использованный в исследовании 2016 года, которое прошло по миллиону самых популярных сайтов и нашло скрипты fingerprinting и отслеживание в масштабе, которого никто раньше не показывал. Многие последующие исследования следуют тому же шаблону.
Почему метод меняет ответ
- Только главная страница или глубже? Внутренние страницы (статьи, оформление заказа) часто загружают другие трекеры.
- Без состояния или с состоянием? Обход без состояния начинает каждый сайт со свежим браузером; обход с состоянием сохраняет cookie между сайтами, как человек, и поэтому может видеть межсайтовое отслеживание.
- Баннеры согласия. Краулер, который никогда не нажимает, измеряет происходящее до согласия; тот, что нажимает "принять", измеряет другое. Скажите, что вы делали.
- Где находится краулер. Сайты показывают разное в разных странах и на разных устройствах.
- Обнаружение ботов. Некоторые сайты обращаются с краулерами иначе, чем с людьми, поэтому обход может недосчитать.
- Время. Веб меняется еженедельно. Исследование - снимок с датой.
Распространённое заблуждение: "Больший обход - всегда лучшее исследование." Размер уменьшает случайную ошибку, но не смещение. Миллион главных страниц, посещённых из одного дата-центра без кликов, может быть точно неправ в том, что испытывают реальные люди.
В этом модуле вы обходите смоделированный веб из 1000 вымышленных сайтов. Он ведёт себя как настоящий в том, что важно для обучения, и ни с чем реальным не связывается.
Попробуйте Откройте инструменты разработчика в браузере (F12 или Cmd+Option+I на Mac), перейдите на вкладку Network и загрузите новостной сайт. Посчитайте разные домены в списке. Вы только что вручную провели обход одного сайта. Затем перезагрузите с отмеченной галочкой "Disable cache" на вкладке Network и посмотрите, изменится ли список.
Итоги
- Исследования приватности обходят много сайтов инструментированным настоящим браузером и считают записанное.
- Сплошные исследования стремятся охватить весь заданный набор, например миллион лучших сайтов.
- Такие решения, как только главные страницы, клики по согласию, место и дата, меняют результаты, поэтому о них нужно сообщать.
- Больше - не значит автоматически лучше: размер снижает случайную ошибку, а не смещение.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.