Программа курса Урок 145 из 156 · Измеряйте веб как исследователь
Измеряйте веб как исследователь

Как устроены исследования приватности

Почему это важно Большая часть того, что мы знаем о веб-отслеживании, например сколько сайтов несут трекеры или какие компании охватывают больше всего людей, получена из исследований, которые автоматически загружают тысячи сайтов и записывают происходящее. Зная, как устроены такие исследования, вы сможете оценить число в заголовке, а на следующих уроках провести собственное.

Представьте учёт птиц. Добровольцы проходят одни и те же маршруты в одно и то же время года и считают, что видят. Подсчёт хорош настолько, насколько хорош метод: гуляйте только в солнечных парках - и пропустите сов. Веб-исследования такие же. Число вроде "на 80% сайтов есть трекер" ничего не значит, пока не знаешь, какие сайты, откуда и как их посещали.

Краулер: программа, которая автоматически посещает веб-страницы одну за другой и записывает, что находит.

Сплошное исследование: измерение, которое пытается посетить каждый сайт в большом заданном наборе (например, миллион самых популярных сайтов), а не горстку, чтобы можно было сказать, насколько что-то распространено.

Инструментирование: дополнительная запись, добавленная в браузер, чтобы исследование видело каждый запрос, cookie и вызов из скрипта, который делает страница, а не только то, что появляется на экране.

Как работает современное исследование

  1. Выберите сайты. Обычно - публичный рейтинг популярных сайтов, иногда случайная выборка, иногда одна категория (новости, здоровье).
  2. Управляйте настоящим браузером. Простые загрузки пропускают большинство трекеров, потому что трекеры загружаются скриптами. Исследования управляют настоящим браузером, который выполняет код страницы.
  3. Записывайте всё. Запросы и ответы, установленные cookie, какие функции браузера использовал каждый скрипт (например, чтение canvas - подсказка fingerprinting) и перенаправления.
  4. Разметьте и посчитайте. Сопоставьте третьи стороны со списками трекеров, затем посчитайте, как часто каждая встречается.

Известный пример - OpenWPM, инструмент измерения с открытым кодом, использованный в исследовании 2016 года, которое прошло по миллиону самых популярных сайтов и нашло скрипты fingerprinting и отслеживание в масштабе, которого никто раньше не показывал. Многие последующие исследования следуют тому же шаблону.

Почему метод меняет ответ

  • Только главная страница или глубже? Внутренние страницы (статьи, оформление заказа) часто загружают другие трекеры.
  • Без состояния или с состоянием? Обход без состояния начинает каждый сайт со свежим браузером; обход с состоянием сохраняет cookie между сайтами, как человек, и поэтому может видеть межсайтовое отслеживание.
  • Баннеры согласия. Краулер, который никогда не нажимает, измеряет происходящее до согласия; тот, что нажимает "принять", измеряет другое. Скажите, что вы делали.
  • Где находится краулер. Сайты показывают разное в разных странах и на разных устройствах.
  • Обнаружение ботов. Некоторые сайты обращаются с краулерами иначе, чем с людьми, поэтому обход может недосчитать.
  • Время. Веб меняется еженедельно. Исследование - снимок с датой.

Распространённое заблуждение: "Больший обход - всегда лучшее исследование." Размер уменьшает случайную ошибку, но не смещение. Миллион главных страниц, посещённых из одного дата-центра без кликов, может быть точно неправ в том, что испытывают реальные люди.

В этом модуле вы обходите смоделированный веб из 1000 вымышленных сайтов. Он ведёт себя как настоящий в том, что важно для обучения, и ни с чем реальным не связывается.

Попробуйте Откройте инструменты разработчика в браузере (F12 или Cmd+Option+I на Mac), перейдите на вкладку Network и загрузите новостной сайт. Посчитайте разные домены в списке. Вы только что вручную провели обход одного сайта. Затем перезагрузите с отмеченной галочкой "Disable cache" на вкладке Network и посмотрите, изменится ли список.

Итоги

  • Исследования приватности обходят много сайтов инструментированным настоящим браузером и считают записанное.
  • Сплошные исследования стремятся охватить весь заданный набор, например миллион лучших сайтов.
  • Такие решения, как только главные страницы, клики по согласию, место и дата, меняют результаты, поэтому о них нужно сообщать.
  • Больше - не значит автоматически лучше: размер снижает случайную ошибку, а не смещение.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.