Audita los terceros de un sitio
Por qué importa No puedes arreglar lo que no has contado. Antes de cambiar nada en un sitio, los ingenieros de privacidad capturan una carga de página y enumeran todos los servidores externos con los que habló. En este ejercicio escribes tú mismo esa auditoría, en unas pocas líneas de Python, y reutilizarás la idea en el proyecto de la etapa 3.
Piensa en un libro de visitas en la puerta de la cafetería. Al final del día lo lees y te preguntas: ¿quién entró, cuántas veces, y alguien dejó algo? Un registro de peticiones es el libro de visitas de la web.
Archivo HAR: abreviatura de HTTP Archive. DevTools puede guardar en un solo archivo todas las peticiones que hizo una página (pestaña Network, clic derecho, "Save all as HAR"). Cada entrada enumera la URL, el tipo de petición, sus cabeceras, el estado y las cookies creadas. Nuestro navegador de práctica te da lo mismo como una lista de diccionarios con browser.har().
Una entrada del mundo de práctica tiene este aspecto (recortada):
{"method": "GET",
"url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
"kind": "beacon",
"top_site": "shopb.example", # the site in the address bar
"status": 200,
"set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}Los archivos HAR reales no tienen top_site; lo leerías de la URL de la página. Nuestro registro lo añade para que el código sea corto.
Tres preguntas que responde una auditoría
- ¿Esta petición va a un tercero? Compara el sitio de la URL con
top_site. Usa el sitio, no el host completo:img.shopb.examplepertenece ashopb.example, así que es propio. - ¿Cuánto recibe cada host externo? Cuenta sus peticiones y apunta si creó cookies.
- ¿Quién ve a las personas de un sitio a otro? Un host que aparece bajo dos o más valores distintos de
top_sitepuede vincular visitas. Son los primeros que hay que mirar.
Dos funciones auxiliares del mundo de práctica hacen el trabajo con las URL por ti: host_of(url) da el host ("img.shopb.example"), y site_of(url) da el sitio registrable ("shopb.example").
from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url)) # img.shopb.example
print(site_of(url)) # shopb.examplePara construir una cuenta por host, el método de diccionario setdefault(key, default) es útil: devuelve el valor de key, guardando antes default si la clave es nueva.
counts = {}
for word in ["a", "b", "a"]:
row = counts.setdefault(word, {"n": 0})
row["n"] += 1
print(counts) # {'a': {'n': 2}, 'b': {'n': 1}}Una idea equivocada muy común: "un host que no crea cookies es inofensivo". Un host que aparece en todos los sitios sigue viendo cada vez la dirección IP y el navegador, y puede pasar su propio ID en la URL en lugar de en una cookie. Cuenta las peticiones y los sitios, no solo las cookies.
En otros lenguajes
La misma auditoría sobre un archivo HAR exportado desde DevTools. Los archivos HAR reales guardan las entradas en log.entries.
// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
const host = new URL(e.request.url).hostname;
report[host] = (report[host] || 0) + 1;
}
console.table(report);// Go
for _, e := range har.Log.Entries {
u, _ := url.Parse(e.Request.URL)
counts[u.Hostname()]++
}// C#
var counts = har.Log.Entries
.GroupBy(e => new Uri(e.Request.Url).Host)
.ToDictionary(g => g.Key, g => g.Count());Acertar con el sitio necesita la Public Suffix List (para que a.co.uk no se trate como parte de co.uk). Usa una biblioteca como tldts en JavaScript o golang.org/x/net/publicsuffix en Go en lugar de dividir por los puntos.
Resumen
- Un registro de peticiones (HAR) es el libro de visitas de un sitio: todos los servidores externos con los que contactó una carga de página.
- Tercero significa un sitio distinto del de la barra de direcciones, no solo un nombre de host distinto.
- Los hosts que se ven bajo varios sitios distintos son los que pueden vincular visitas.
El código inicial captura por ti un registro de práctica: Sam recorre 12 páginas de tiendas mientras AdCo crea una cookie con un ID. Escribe tres funciones:
is_third_party(entry): devuelveTruecuandosite_of(entry["url"])es distinto deentry["top_site"], y si noFalse.audit(har): recorre la lista y, para cada entrada de terceros, construye un diccionario con la clavehost_of(entry["url"]). Cada valor es un diccionario con"requests"(cuántas entradas fueron a ese host),"sites"(una lista ordenada de los distintos valores detop_sitebajo los que se vio) y"sets_cookies"(Truesi alguna de sus entradas tiene una listaset_cookiesno vacía). Devuelve el diccionario. Las entradas propias se dejan fuera.watchers(report): dado el diccionario deaudit, devuelve una lista de los hosts vistos bajo dos o más sitios, ordenada alfabéticamente.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.