Rastrear la web simulada
Por qué importa Contar es cómo conviertes una preocupación vaga ("hay rastreadores por todas partes") en un hecho que puedes comprobar y repetir. En este laboratorio haces un rastreo al estilo real sobre 1000 sitios simulados y construyes la tabla con la que empieza cualquier estudio de rastreo: qué terceros aparecen, y en cuántos sitios.
Un rastreo es como hacer inventario en una tienda: recorres todos los pasillos, apuntas cada artículo y luego sumas. Aquí cada pasillo es un sitio, y cada artículo es una petición que hizo la página.
La web simulada
SimWeb(seed) de watched.leg7b_web crea 1000 sitios ficticios, ordenados por popularidad. web.sites enumera sus nombres y web.visit(site) devuelve lo que registró un rastreador instrumentado:
from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of
web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example")) # adco.exampleTercero: un sitio distinto del que visitas con el que contacta la página. Si visitas calmriver.example y carga t.adco.example, el tercero es adco.example.
Dominio registrable (sitio): la parte de un nombre de host que controla un dueño, como adco.example para t.adco.example. site_of(host) lo calcula por ti; lo escribiste tú mismo en la etapa 6.
Presencia (prevalence): lo extendido que está algo: aquí, el número (o la proporción) de sitios rastreados en los que aparece un tercero.
Contar con un diccionario, ordenar con una clave
Un set guarda cada valor una vez, lo que es perfecto para "con qué terceros contactó esta página". Para contar entre páginas, usa un diccionario y suma uno por cada página en la que aparezca un tercero. Para ordenar la tabla, ordena sus elementos con una key: una función que dice por qué ordenar.
table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked) # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.Fíjate en que un tercero cuenta una vez por sitio, haga las peticiones que haga allí. Un rastreador que dispara diez píxeles en un sitio sigue estando en un sitio.
TRACKER_LIST es una lista de bloqueo de sitios de rastreo conocidos, tal como los etiquetan las listas de filtros públicas. La proporción de sitios que cargan al menos un rastreador de la lista es la cifra de titular de muchos estudios.
Una idea equivocada muy común: "Todo tercero es un rastreador." Las fuentes, las redes de distribución de contenidos y los widgets de pago también son terceros. Tu tabla mostrará que algunos de los terceros más comunes son inofensivos, y por eso los estudios etiquetan con cuidado.
En otros lenguajes
Contar la presencia en JavaScript (Node) y en Go:
// JavaScript
const table = new Map();
for (const load of loads) {
const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);// Go
table := map[string]int{}
for _, load := range loads {
seen := map[string]bool{}
for _, r := range load.Requests {
s := siteOf(r.Host)
if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
}
}Resumen
- Un rastreo visita muchos sitios y registra cada petición; contar convierte eso en hechos.
- Usa site_of para agrupar los hosts en sitios, y cuenta cada tercero una vez por sitio.
- Ordena con una clave para clasificar por presencia, resolviendo los empates por el nombre.
- No todo tercero es un rastreador; etiqueta con una lista y di qué lista usaste.
Escribe cinco funciones:
third_parties(load): el set de sitios (site_of(request["host"])) con los que contactó la página, sinload["site"].prevalence(loads): un diccionario del sitio tercero al número de cargas en las que aparece.top(table, n): losnpares(site, count)más grandes, de mayor a menor, con los empates en orden alfabético.cookie_setters(loads): el set de sitios terceros con al menos una petición cuyosets_cookiees verdadero.tracker_share(loads, tracker_list): la fracción de cargas que contactan con al menos un sitio detracker_list.
loads con web.visit(site) para cada sitio de web.sites, en orden. Las pruebas también rastrean otras webs simuladas.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.