Kurrikulum Leson 48 van 156 · Bou 'n bloker
Bou 'n bloker

Bespeur trackers sonder 'n lys

Waarom dit saak maak 'n Lys ken net trackers wat iemand reeds gevind en neergeskryf het. Nuwe trackers verskyn elke week, en sommige verander doelbewus hul name. Om 'n tracker te identifiseer deur hoe dit optree, vang diegene wat geen lys nog gehoor het nie.

Sien 'n winkeldief sonder 'n foto

A winkelwag met 'n lys van bekende winkeldiewe is nuttig. Maar 'n goeie wag hou ook dop oor gedrag: iemand wat elke winkel in die straat besoek en aanteken wie ingaan. Jy het nie hul naam nodig om te sien wat hulle doen nie.

Trackers het ook duidelike gedrag. In hierdie les soek jy na drie leidrade in 'n blaaier se aanvrae-log:

  1. Orals op een slag. Dieselfdederdeparty-webwerf verskyn op twee of meer verskillende webwerwe. Dit is wat dit laat verbind jou besoeke saam.
  2. 'n unieke ID in die adres. 'n query-waarde soos cid=df0641532d7f wat willekeurig lyk: dit is 'n naametiket vir jou.
  3. A pixel. 'n "beeld" van 100 bytes of minder, te klein om enigiets te wys. Sy enigste taak is om jou blutser 'n versoek te laat stuur.

Heuristic: 'n reël van die duim wat gewoonlik reg is maar nie altyd nie, soos "donker wolke beteken reën". Heuristieken kan nuwe dinge vang, en hulle kan ook mislei word.

Ons reël: 'n webwerf is 'n tracker as aanwijzing 1 waar is en ten minste een van aanwysings 2 of 3 waar is. Om aanwijzing 1 te vereis hou die onskadelike cdn.example veilig: dit is op elke winkel, maar dit stuur geen ID nie en sy logo is 'n regte 2 KB prentjie.

Hoe willekeur is willekeur? Entropie, kortliks

Om 'n ID van 'n normale woord te onderskei, meet ons hoe deurmekaar die karakters is. aaaa is glad nie deurmekaar nie. abcd gebruik vier verskillende karakters gelyk.

Shannon-entropie: 'n getal vir hoe onvoorspelbaar iets is, in bits. Vir 'n teks: neem vir elke verskillende karakter sy deel p van die teks, en tel -p * log2(p) bymekaar. Meer verskeidenheid gee meer bits.

char_entropy("aaaa")   # 0.0  every character is the same
char_entropy("abab")   # 1.0  two characters, half each
char_entropy("abcd")   # 2.0  four characters, a quarter each

math.log2(p) is "hoeveel keer halveer ek 1 om p te kry", gegee as 'n negatiewe getal, dit is waarom daar 'n minus-teken is. collections.Counter(text) tel elke karakter vir jou. Jy sal hierdie selfde formule weer teenkom, toegepas op groot groepe blousers, in die volgende module.

Entropy alleen is nie genoeg nie: trail-shoes is ook nogal gemeng. So looks_like_id vra ook vir ten minste 8 karakters, net letters, syfers, - of _, en ten minste een letter en een syfer. Woorde misluk die syfertoets; datums en URLs misluk die letter of karaktertoets.

Lees die log

Elke record in browser.log het wat jy nodig het:

  • site_of(record.url) en record.top_site: as hulle verskil, is dit 'nderde party.
  • record.request.params: die query as 'n dict, reeds ontkodeer.
  • record.response: None asook blokkering; anders .header("Content-Type") en .size in bytes.

Eerlike limiete

'n

A tracker op net een webwerf in jou log gaan onopgemerk verby, selfs al is dit op duisende webwerwe wat jy nog nie besoek het nie. 'n Tracker wat ID's in 'n cookie wegsteek en 'n normale grootte beeld stuur, glip ook deur. En 'n first-party analytics script wat ID's na sy eie webwerf stuur, is glad nie third party nie. Dit is waarom regte blockers lyssies en heuristiek saam gebruik.

Probeer dit Maak DevTools oop (F12, of Cmd+Option+I op 'n Mac), gaan na die Network-tab, filter by Img, en laai 'n nuuswebwerf. Sorteer volgens Size. Die Size-kolom tel die response headers ook, so 'n pixel waarvan die beeld net 'n paar dosyn bytes is, wys steeds as 'n paar honderd. Enige beeld wat so klein is, vanaf 'n ander webwerf, is baie waarskynlik 'n pixel. Klik op een en kyk na die query string vir 'n lang willekeurige waarde.

In ander tale

JavaScript:

function charEntropy(text) {
  if (!text) return 0;
  const counts = {};
  for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
  let bits = 0;
  for (const n of Object.values(counts)) {
    const p = n / text.length;
    bits -= p * Math.log2(p);
  }
  return bits;
}

const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
  && /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;

C#:

static double CharEntropy(string text) =>
    text.Length == 0 ? 0 :
    -text.GroupBy(c => c)
         .Select(g => (double)g.Count() / text.Length)
         .Sum(p => p * Math.Log2(p));

Opsomming

  • Behaviour verras spoorvangers: dit is op baie webwerwe teenwoordig, stuur willekeurige ID's en haal pixels op.
  • Shannon-entropie meet hoe gemeng 'n teks is; willekeurige ID's kry 'n hoë telling.
  • Omgee "op 2 of meer webwerwe" beskerm onskadelike helpers soos 'n CDN.
  • Heuristieken vang nuwe trackers vas maar mis sommige; werklike blokkeerders kombineer hulle met lysse.
Jou beurt

Skryf char_entropy(text) (Shannon entropie in bits per karakter, 0.0 vir leë teks), looks_like_id(value) (ten minste 8 karakters, almal in ID_CHARS, ten minste een syfer en een letter, entropie ten minste 2.0), is_pixel(record) ( 'n repons met 'n Content-Type wat met image/ begin en 'n grootte van 100 bytes of minder) en find_trackers(log), en gee die stel van webwerwe wat asderde party op ten minste 2 verskillende topwebwerwe verskyn en 'n ID-agtige query-waarde gestuur het of 'n pixel ontvang het. Moenie watched.reference gebruik nie.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.