Temario Lección 149 de 156 · Medir la web como un investigador
Medir la web como un investigador

Estadística honesta

Por qué importa Una medición solo es útil si quien la lee sabe cuánto puede fiarse. Dejar por escrito cómo se eligió tu muestra, cuánta incertidumbre tiene la cifra y qué no pudiste ver es lo que separa un estudio de una conjetura. También te protege de engañarte a ti mismo.

Imagina que preguntas a la gente de un gimnasio cuántas veces hace ejercicio, y luego anuncias "la persona media entrena cinco veces por semana". Las cuentas pueden ser perfectas. El problema es a quién preguntaste.

Muestra: la parte del mundo que mediste de verdad, como los 1000 sitios que rastreaste.

Población: el todo sobre el que quieres decir algo, como "los sitios web que usa la gente".

Sesgo de muestreo: una diferencia entre tu muestra y la población que empuja el resultado en un sentido, por grande que sea la muestra.

Dónde tienen sesgo los rastreos de la web

  • Solo sitios populares. Las clasificaciones favorecen a los sitios grandes. Los sitios pequeños, que son la mayor parte de la web, pueden comportarse de otra forma.
  • Regiones e idiomas. Un rastreador en un país ve las versiones de los sitios de ese país, a menudo en un solo idioma.
  • Dispositivos. Los rastreos de escritorio no ven lo que hacen los sitios móviles y las aplicaciones, y hoy gran parte del rastreo ocurre en las aplicaciones.
  • Páginas sin sesión iniciada. Los rastreadores rara vez inician sesión, así que las páginas de cuenta, los pagos y los feeds quedan sin medir.
  • Detección de bots. Algunos sitios se comportan de otra forma con los navegadores automáticos.
  • Las etiquetas. Tu recuento de rastreadores es en realidad "los sitios que la lista de bloqueo llama rastreadores". Una lista que no ve algunos rastreadores rebaja tu cifra.

¿Cuánta incertidumbre tiene una proporción?

Incluso sin sesgo, una muestra varía por azar. Para una proporción p medida en n sitios, un margen de error aproximado del 95 % muy usado es 1.96 * sqrt(p * (1 - p) / n).

import math
p, n = 0.6, 1000          # 600 of 1,000 sites had a tracker
margin = 1.96 * math.sqrt(p * (1 - p) / n)
print(round(100 * p), "% plus or minus", round(100 * margin, 1), "%")   # 60 % plus or minus 3.0 %

Este margen solo cubre el azar. No dice nada del sesgo, que a menudo es el error más grande, así que sigues necesitando la lista de arriba.

Redactar los límites

Una buena sección de límites es corta, concreta y honesta. Para cada límite, di cuál es, en qué sentido empuja probablemente el resultado y qué lo arreglaría. Por ejemplo:

  • "Visitamos solo páginas de inicio. Las páginas interiores a menudo cargan más rastreadores, así que probablemente nuestros recuentos se quedan cortos."
  • "Usamos una sola lista de bloqueo para las etiquetas. Los rastreadores que no ve no se cuentan."
  • "El rastreo se hizo en un solo día, desde un solo lugar, en escritorio."

Una idea equivocada muy común: "Enumerar los límites hace que un estudio parezca débil." Hace lo contrario. Los lectores se fían más de un resultado cuando pueden ver sus bordes, y los límites le dicen al siguiente investigador qué medir.

Dos costumbres más: da la fecha y el método exacto para que alguien pueda repetirlo, y evita convertir "lo vimos en el 60 % de los sitios" en "al 60 % de la gente la rastrean". Los sitios no son personas.

Pruébalo Toma tu rastreo de la lección 146. Calcula el margen de error de su proporción de rastreadores, y luego escribe tres límites para él, diciendo en cada uno en qué sentido empuja la cifra.

Resumen

  • El sesgo de muestreo viene de a quién o qué mediste, y una muestra más grande no lo cura.
  • Los rastreos no ven los sitios pequeños, otras regiones, los móviles y las aplicaciones, las páginas con sesión iniciada ni lo que no ven las etiquetas.
  • Un margen de error como 1.96 * sqrt(p(1 - p)/n) solo cubre el azar.
  • Redacta límites que digan qué, en qué sentido y qué lo arreglaría.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.