Программа курса Урок 149 из 156 · Измеряйте веб как исследователь
Измеряйте веб как исследователь

Честная статистика

Почему это важно Измерение полезно, только если читатели знают, насколько ему доверять. Записать, как выбиралась выборка, насколько неопределённо число и чего вы не могли увидеть, - вот что отличает исследование от догадки. Это ещё и защищает вас от самообмана.

Представьте, что вы спросили людей в спортзале, как часто они тренируются, а затем объявили: "средний человек тренируется пять раз в неделю". Арифметика может быть безупречной. Проблема в том, кого вы спрашивали.

Выборка: часть мира, которую вы на самом деле измерили, например 1000 обойдённых сайтов.

Генеральная совокупность: всё целое, о котором вы хотите что-то сказать, например "сайты, которыми пользуются люди".

Смещение выборки: различие между вашей выборкой и совокупностью, которое сдвигает результат в одну сторону, каким бы большим ни был размер выборки.

Где обходы веба смещены

  • Только популярные сайты. Рейтинги предпочитают большие сайты. Маленькие, из которых состоит большая часть веба, могут вести себя иначе.
  • Регионы и языки. Краулер в одной стране видит версии сайтов для этой страны, часто на одном языке.
  • Устройства. Обходы с компьютера пропускают то, что делают мобильные сайты и приложения, а много отслеживания сейчас происходит в приложениях.
  • Страницы без входа. Краулеры редко входят в аккаунт, поэтому страницы аккаунта, оформление заказа и ленты остаются неизмеренными.
  • Обнаружение ботов. Некоторые сайты ведут себя иначе для автоматических браузеров.
  • Метки. Ваш подсчёт трекеров - на самом деле "сайты, которые список блокировки называет трекерами". Список, пропускающий трекеры, занижает ваше число.

Насколько неопределённа доля?

Даже без смещения выборка колеблется случайно. Для доли p, измеренной на n сайтах, распространённая грубая 95-процентная погрешность равна 1.96 * sqrt(p * (1 - p) / n).

import math
p, n = 0.6, 1000          # 600 of 1,000 sites had a tracker
margin = 1.96 * math.sqrt(p * (1 - p) / n)
print(round(100 * p), "% plus or minus", round(100 * margin, 1), "%")   # 60 % plus or minus 3.0 %

Эта погрешность покрывает только случай. Она ничего не говорит о смещении, которое часто бывает большей ошибкой, поэтому список выше всё равно нужен.

Описание ограничений

Хороший раздел ограничений краток, конкретен и честен. Для каждого ограничения скажите, что это, в какую сторону оно, вероятно, сдвигает результат и что бы это исправило. Например:

  • "Мы посещали только главные страницы. Внутренние страницы часто загружают больше трекеров, поэтому наши числа, вероятно, занижены."
  • "Для меток мы использовали один список блокировки. Трекеры, которых он не знает, не посчитаны."
  • "Обход проводился в один день, из одного места, с компьютера."

Распространённое заблуждение: "Перечисление ограничений делает исследование слабым." Наоборот. Читатели больше доверяют результату, когда видят его границы, а ограничения подсказывают следующему исследователю, что измерить.

Ещё две привычки: указывайте дату и точный метод, чтобы кто-то мог повторить, и не превращайте "мы видели это на 60% сайтов" в "60% людей отслеживаются". Сайты - не люди.

Попробуйте Возьмите свой обход из урока 146. Вычислите погрешность для его доли трекеров, затем напишите для него три ограничения, каждое с указанием, в какую сторону оно сдвигает число.

Итоги

  • Смещение выборки возникает из того, кого или что вы измерили, и большая выборка его не лечит.
  • Обходы пропускают маленькие сайты, другие регионы, мобильные устройства и приложения, страницы со входом и всё, что пропускают метки.
  • Погрешность вроде 1.96 * sqrt(p(1 - p)/n) покрывает только случай.
  • Пишите ограничения, которые говорят, что, в какую сторону и что бы это исправило.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.