Detecteer trackers zonder een lijst
Waarom dit ertoe doet Een lijst kent alleen trackers die iemand al heeft gevonden en genoteerd. Er verschijnen elke week nieuwe trackers, en sommige veranderen bewust hun namen. Een tracker herkennen aan hoe hij zich gedraagt vangt degenen die nog niet op een lijst staan.
Een winkeldief ontdekken zonder foto
A winkelbewaker met een lijst van bekende winkeldieven is nuttig. Maar een goede bewaker let ook op gedrag: iemand die elke winkel in de straat bezoekt en opschrijft wie naar binnen gaat. Je hebt hun naam niet nodig om te zien wat ze doen.
Trackers hebben ook kenmerkend gedrag. In deze les zoek je naar drie aanwijzingen in de request log van een browser:
- Evige overal tegelijk. Dezelfde externe site verschijnt op twee of meer verschillende sites. Dat is wat het toestaat om jouw bezoeken samen te voegen.
- A unieke ID in het adres. Een query waarde zoals
cid=df0641532d7fdie willekeurig lijkt: dat is een naamtag voor jou. - A pixel. Een "afbeelding" van 100 bytes of minder, te klein om iets te tonen. Haar enige taak is om je browser een request laten sturen.
Heuristic: een vuistregel die meestal klopt maar niet altijd, zoals "donkere wolken betekenen regen". Heuristieken kunnen nieuwe dingen vinden, maar ze kunnen ook misleid worden.
Onze regel: een site is een tracker als aanwijzing 1 waar is en ten minste één van de aanwijzingen 2 of 3 waar is. Aanwijzing 1 vereisen houdt de onschuldige cdn.example veilig: het staat op elke winkel, maar het verstuurt geen ID en zijn logo is een echte 2 KB afbeelding.
Hoe willekeurig is willekeurig? Entropie, kort gezegd
Om een ID van een normaal woord te onderscheiden, meten we hoe door elkaar gemengd de karakters zijn. aaaa is helemaal niet gemengd. abcd gebruikt vier verschillende karakters evenveel.
Shannon entropy: een getal voor hoe onvoorspelbaar iets is, in bits. Voor een tekst: neem voor elk verschillend teken het aandeel p van de tekst, en tel -p * log2(p) op. Meer variatie geeft meer bits.
char_entropy("aaaa") # 0.0 every character is the same
char_entropy("abab") # 1.0 two characters, half each
char_entropy("abcd") # 2.0 four characters, a quarter eachmath.log2(p) is "hoe vaak halveer ik 1 om p te krijgen", gegeven als een negatief getal, dat is waarom er een minteken staat. collections.Counter(text) telt elk karakter voor je. Je zult dezezelfde formule opnieuw tegenkomen, toegepast op hele groepen browsers, in de volgende module.
Entropy alleen is niet genoeg: trail-shoes is ook behoorlijk gemengd. Dus looks_like_id vraagt ook om ten minste 8 tekens, alleen letters, cijfers, - of _, en ten minste één letter en één cijfer. Woorden falen bij de cijfertest; data en URLs falen bij de letter of karaktertest.
Het log lezen
Elke record in browser.log heeft wat je nodig hebt:
site_of(record.url)enrecord.top_site: als ze verschillen, is het een derde partij.record.request.params: de query als een dictionary, al gedecodeerd.record.response:Noneals geblokkeerd; anders.header("Content-Type")en.sizein bytes.
Eerlijke limieten
EenA tracker op slechts één site in je log gaat onopgemerkt voorbij, zelfs als hij op duizenden sites staat die je nog niet hebt bezocht. Een tracker die IDs verbergt in een cookie en een afbeelding van normale grootte verzendt glipt er ook doorheen. En een first-party analytics script dat IDs naar zijn eigen site stuurt is helemaal geen third party. Dat is waarom echte blockers lijsten en heuristieken samen gebruiken.
Probeer het Open DevTools (F12, of Cmd+Option+I op een Mac), ga naar het Network tabblad, filter op Img, en laad een nieuws site. Sorteer op Size. De Size kolom telt ook de response headers mee, dus een pixel waarvan de afbeelding slechts een paar tientallen bytes is, wordt nog steeds als een paar honderd getoond. Elke afbeelding die zo klein is, van een andere site, is zeer waarschijnlijk een pixel. Klik op één en kijk naar de query string voor een lange willekeurige waarde.
In andere talen
JavaScript:
function charEntropy(text) {
if (!text) return 0;
const counts = {};
for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
let bits = 0;
for (const n of Object.values(counts)) {
const p = n / text.length;
bits -= p * Math.log2(p);
}
return bits;
}
const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
&& /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;C#:
static double CharEntropy(string text) =>
text.Length == 0 ? 0 :
-text.GroupBy(c => c)
.Select(g => (double)g.Count() / text.Length)
.Sum(p => p * Math.Log2(p));Samenvatting
- Gedrag verraadt trackers: aanwezig op veel sites, verzenden willekeurige ID's, ophalen van pixels.
- Shannon entropy meetelt hoe gemengd een tekst is; willekeurige ID's scoren hoog.
- Het vereisen van "op 2 of meer sites" beschermt onschadelijke helpers zoals een CDN.
- Heuristieken vangen nieuwe trackers op maar missen er een paar; echte blockers combineren ze met lijsten.
Schrijf char_entropy(text) (Shannon entropy in bits per karakter, 0.0 voor lege tekst), looks_like_id(value) (minstens 8 tekens, allemaal in ID_CHARS, minstens één cijfer en één letter, entropie van minstens 2.0), is_pixel(record) (een respons met een Content-Type beginnend met image/ en een grootte van 100 bytes of minder) en find_trackers(log), en retourneer de set sites die verschijnen als derde partij op minstens 2 verschillende top sites en een ID-achtige querywaarde stuurden of een pixel ontvingen. Gebruik geen watched.reference.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.