Честная статистика
Почему это важно Измерение полезно, только если читатели знают, насколько ему доверять. Записать, как выбиралась выборка, насколько неопределённо число и чего вы не могли увидеть, - вот что отличает исследование от догадки. Это ещё и защищает вас от самообмана.
Представьте, что вы спросили людей в спортзале, как часто они тренируются, а затем объявили: "средний человек тренируется пять раз в неделю". Арифметика может быть безупречной. Проблема в том, кого вы спрашивали.
Выборка: часть мира, которую вы на самом деле измерили, например 1000 обойдённых сайтов.
Генеральная совокупность: всё целое, о котором вы хотите что-то сказать, например "сайты, которыми пользуются люди".
Смещение выборки: различие между вашей выборкой и совокупностью, которое сдвигает результат в одну сторону, каким бы большим ни был размер выборки.
Где обходы веба смещены
- Только популярные сайты. Рейтинги предпочитают большие сайты. Маленькие, из которых состоит большая часть веба, могут вести себя иначе.
- Регионы и языки. Краулер в одной стране видит версии сайтов для этой страны, часто на одном языке.
- Устройства. Обходы с компьютера пропускают то, что делают мобильные сайты и приложения, а много отслеживания сейчас происходит в приложениях.
- Страницы без входа. Краулеры редко входят в аккаунт, поэтому страницы аккаунта, оформление заказа и ленты остаются неизмеренными.
- Обнаружение ботов. Некоторые сайты ведут себя иначе для автоматических браузеров.
- Метки. Ваш подсчёт трекеров - на самом деле "сайты, которые список блокировки называет трекерами". Список, пропускающий трекеры, занижает ваше число.
Насколько неопределённа доля?
Даже без смещения выборка колеблется случайно. Для доли p, измеренной на n сайтах, распространённая грубая 95-процентная погрешность равна 1.96 * sqrt(p * (1 - p) / n).
import math
p, n = 0.6, 1000 # 600 of 1,000 sites had a tracker
margin = 1.96 * math.sqrt(p * (1 - p) / n)
print(round(100 * p), "% plus or minus", round(100 * margin, 1), "%") # 60 % plus or minus 3.0 %Эта погрешность покрывает только случай. Она ничего не говорит о смещении, которое часто бывает большей ошибкой, поэтому список выше всё равно нужен.
Описание ограничений
Хороший раздел ограничений краток, конкретен и честен. Для каждого ограничения скажите, что это, в какую сторону оно, вероятно, сдвигает результат и что бы это исправило. Например:
- "Мы посещали только главные страницы. Внутренние страницы часто загружают больше трекеров, поэтому наши числа, вероятно, занижены."
- "Для меток мы использовали один список блокировки. Трекеры, которых он не знает, не посчитаны."
- "Обход проводился в один день, из одного места, с компьютера."
Распространённое заблуждение: "Перечисление ограничений делает исследование слабым." Наоборот. Читатели больше доверяют результату, когда видят его границы, а ограничения подсказывают следующему исследователю, что измерить.
Ещё две привычки: указывайте дату и точный метод, чтобы кто-то мог повторить, и не превращайте "мы видели это на 60% сайтов" в "60% людей отслеживаются". Сайты - не люди.
Попробуйте Возьмите свой обход из урока 146. Вычислите погрешность для его доли трекеров, затем напишите для него три ограничения, каждое с указанием, в какую сторону оно сдвигает число.
Итоги
- Смещение выборки возникает из того, кого или что вы измерили, и большая выборка его не лечит.
- Обходы пропускают маленькие сайты, другие регионы, мобильные устройства и приложения, страницы со входом и всё, что пропускают метки.
- Погрешность вроде 1.96 * sqrt(p(1 - p)/n) покрывает только случай.
- Пишите ограничения, которые говорят, что, в какую сторону и что бы это исправило.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.