Conteúdo do curso Lição 149 de 156 · Meça a web como um pesquisador
Meça a web como um pesquisador

Estatística honesta

Por que isso importa Uma medição só é útil se os leitores souberem o quanto confiar nela. Anotar como sua amostra foi escolhida, o quão incerto é o número e o que você não conseguiu ver é o que separa um estudo de um chute. Isso também protege você de se enganar.

Imagine perguntar às pessoas em uma academia com que frequência elas se exercitam e depois anunciar "a pessoa média treina cinco vezes por semana". A conta pode estar perfeita. O problema é a quem você perguntou.

Amostra: a parte do mundo que você de fato mediu, como os 1.000 sites do seu crawl.

População: o todo sobre o qual você quer dizer algo, como "os sites que as pessoas usam".

Viés de amostragem: uma diferença entre sua amostra e a população que empurra o resultado para um lado, não importa o tamanho da amostra.

Onde os crawls da web têm viés

  • Só sites populares. Os rankings favorecem sites grandes. Os sites pequenos, que são a maior parte da web, podem se comportar de outro jeito.
  • Regiões e idiomas. Um crawler em um país vê as versões dos sites daquele país, muitas vezes em um único idioma.
  • Dispositivos. Crawls de desktop perdem o que os sites móveis e os apps fazem, e muito do rastreamento hoje acontece nos apps.
  • Páginas sem login. Os crawlers raramente fazem login, então páginas de conta, checkouts e feeds ficam sem medição.
  • Detecção de bots. Alguns sites se comportam de outro jeito com navegadores automáticos.
  • Os rótulos. Sua contagem de rastreadores é na verdade "sites que a lista de bloqueio chama de rastreadores". Uma lista que perde rastreadores diminui seu número.

O quão incerta é uma fração?

Mesmo sem viés, uma amostra oscila por acaso. Para uma fração p medida em n sites, uma margem de erro aproximada de 95% muito usada é 1.96 * sqrt(p * (1 - p) / n).

import math
p, n = 0.6, 1000          # 600 of 1,000 sites had a tracker
margin = 1.96 * math.sqrt(p * (1 - p) / n)
print(round(100 * p), "% plus or minus", round(100 * margin, 1), "%")   # 60 % plus or minus 3.0 %

Essa margem só cobre o acaso. Ela não diz nada sobre o viés, que muitas vezes é o erro maior, então você ainda precisa da lista acima.

Escrevendo os limites

Uma boa seção de limites é curta, específica e honesta. Para cada limite, diga o que ele é, para que lado ele provavelmente empurra o resultado e o que o consertaria. Por exemplo:

  • "Visitamos só as páginas iniciais. As páginas internas muitas vezes carregam mais rastreadores, então nossas contagens provavelmente estão baixas."
  • "Usamos uma única lista de bloqueio para os rótulos. Os rastreadores que ela perde não são contados."
  • "O crawl rodou em um dia, a partir de um local, no desktop."

Um equívoco comum: "listar os limites faz um estudo parecer fraco." Faz o contrário. Os leitores confiam mais em um resultado quando conseguem ver as bordas dele, e os limites dizem ao próximo pesquisador o que medir.

Mais dois hábitos: informe a data e o método exato para que alguém possa repeti-lo, e evite transformar "vimos isso em 60% dos sites" em "60% das pessoas são rastreadas". Sites não são pessoas.

Experimente Pegue seu crawl da lição 146. Calcule a margem de erro da fração de rastreadores dele e depois escreva três limites para ele, cada um dizendo para que lado empurra o número.

Resumo

  • O viés de amostragem vem de quem ou do que você mediu, e uma amostra maior não o cura.
  • Os crawls perdem sites pequenos, outras regiões, celular e apps, páginas com login e o que os rótulos perdem.
  • Uma margem de erro como 1.96 * sqrt(p(1 - p)/n) só cobre o acaso.
  • Escreva limites que digam o quê, para que lado e o que consertaria.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.