Programma Les 48 van 156 · Bouw een blocker
Bouw een blocker

Detecteer trackers zonder een lijst

Waarom dit ertoe doet Een lijst kent alleen trackers die iemand al heeft gevonden en genoteerd. Er verschijnen elke week nieuwe trackers, en sommige veranderen bewust hun namen. Een tracker herkennen aan hoe hij zich gedraagt vangt degenen die nog niet op een lijst staan.

Een winkeldief ontdekken zonder foto

A winkelbewaker met een lijst van bekende winkeldieven is nuttig. Maar een goede bewaker let ook op gedrag: iemand die elke winkel in de straat bezoekt en opschrijft wie naar binnen gaat. Je hebt hun naam niet nodig om te zien wat ze doen.

Trackers hebben ook kenmerkend gedrag. In deze les zoek je naar drie aanwijzingen in de request log van een browser:

  1. Evige overal tegelijk. Dezelfde externe site verschijnt op twee of meer verschillende sites. Dat is wat het toestaat om jouw bezoeken samen te voegen.
  2. A unieke ID in het adres. Een query waarde zoals cid=df0641532d7f die willekeurig lijkt: dat is een naamtag voor jou.
  3. A pixel. Een "afbeelding" van 100 bytes of minder, te klein om iets te tonen. Haar enige taak is om je browser een request laten sturen.

Heuristic: een vuistregel die meestal klopt maar niet altijd, zoals "donkere wolken betekenen regen". Heuristieken kunnen nieuwe dingen vinden, maar ze kunnen ook misleid worden.

Onze regel: een site is een tracker als aanwijzing 1 waar is en ten minste één van de aanwijzingen 2 of 3 waar is. Aanwijzing 1 vereisen houdt de onschuldige cdn.example veilig: het staat op elke winkel, maar het verstuurt geen ID en zijn logo is een echte 2 KB afbeelding.

Hoe willekeurig is willekeurig? Entropie, kort gezegd

Om een ID van een normaal woord te onderscheiden, meten we hoe door elkaar gemengd de karakters zijn. aaaa is helemaal niet gemengd. abcd gebruikt vier verschillende karakters evenveel.

Shannon entropy: een getal voor hoe onvoorspelbaar iets is, in bits. Voor een tekst: neem voor elk verschillend teken het aandeel p van de tekst, en tel -p * log2(p) op. Meer variatie geeft meer bits.

char_entropy("aaaa")   # 0.0  every character is the same
char_entropy("abab")   # 1.0  two characters, half each
char_entropy("abcd")   # 2.0  four characters, a quarter each

math.log2(p) is "hoe vaak halveer ik 1 om p te krijgen", gegeven als een negatief getal, dat is waarom er een minteken staat. collections.Counter(text) telt elk karakter voor je. Je zult dezezelfde formule opnieuw tegenkomen, toegepast op hele groepen browsers, in de volgende module.

Entropy alleen is niet genoeg: trail-shoes is ook behoorlijk gemengd. Dus looks_like_id vraagt ook om ten minste 8 tekens, alleen letters, cijfers, - of _, en ten minste één letter en één cijfer. Woorden falen bij de cijfertest; data en URLs falen bij de letter of karaktertest.

Het log lezen

Elke record in browser.log heeft wat je nodig hebt:

  • site_of(record.url) en record.top_site: als ze verschillen, is het een derde partij.
  • record.request.params: de query als een dictionary, al gedecodeerd.
  • record.response: None als geblokkeerd; anders .header("Content-Type") en .size in bytes.

Eerlijke limieten

Een

A tracker op slechts één site in je log gaat onopgemerkt voorbij, zelfs als hij op duizenden sites staat die je nog niet hebt bezocht. Een tracker die IDs verbergt in een cookie en een afbeelding van normale grootte verzendt glipt er ook doorheen. En een first-party analytics script dat IDs naar zijn eigen site stuurt is helemaal geen third party. Dat is waarom echte blockers lijsten en heuristieken samen gebruiken.

Probeer het Open DevTools (F12, of Cmd+Option+I op een Mac), ga naar het Network tabblad, filter op Img, en laad een nieuws site. Sorteer op Size. De Size kolom telt ook de response headers mee, dus een pixel waarvan de afbeelding slechts een paar tientallen bytes is, wordt nog steeds als een paar honderd getoond. Elke afbeelding die zo klein is, van een andere site, is zeer waarschijnlijk een pixel. Klik op één en kijk naar de query string voor een lange willekeurige waarde.

In andere talen

JavaScript:

function charEntropy(text) {
  if (!text) return 0;
  const counts = {};
  for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
  let bits = 0;
  for (const n of Object.values(counts)) {
    const p = n / text.length;
    bits -= p * Math.log2(p);
  }
  return bits;
}

const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
  && /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;

C#:

static double CharEntropy(string text) =>
    text.Length == 0 ? 0 :
    -text.GroupBy(c => c)
         .Select(g => (double)g.Count() / text.Length)
         .Sum(p => p * Math.Log2(p));

Samenvatting

  • Gedrag verraadt trackers: aanwezig op veel sites, verzenden willekeurige ID's, ophalen van pixels.
  • Shannon entropy meetelt hoe gemengd een tekst is; willekeurige ID's scoren hoog.
  • Het vereisen van "op 2 of meer sites" beschermt onschadelijke helpers zoals een CDN.
  • Heuristieken vangen nieuwe trackers op maar missen er een paar; echte blockers combineren ze met lijsten.
Jij bent aan de beurt

Schrijf char_entropy(text) (Shannon entropy in bits per karakter, 0.0 voor lege tekst), looks_like_id(value) (minstens 8 tekens, allemaal in ID_CHARS, minstens één cijfer en één letter, entropie van minstens 2.0), is_pixel(record) (een respons met een Content-Type beginnend met image/ en een grootte van 100 bytes of minder) en find_trackers(log), en retourneer de set sites die verschijnen als derde partij op minstens 2 verschillende top sites en een ID-achtige querywaarde stuurden of een pixel ontvingen. Gebruik geen watched.reference.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.