Lehrplan Lektion 48 von 156 · Baue einen Blocker
Baue einen Blocker

Tracker ohne Liste erkennen

Warum das wichtig ist Eine Liste kennt nur Tracker, die jemand bereits gefunden und notiert hat. Neue Tracker erscheinen jede Woche und einige ändern absichtlich ihre Namen. Einen Tracker durch sein Verhalten zu erkennen, findet diejenigen, von denen noch keine Liste gehört hat.

Einen Ladendieb ohne Foto entdecken

A ein Ladenschutz mit einer Liste bekannter Ladendiebe ist nützlich. Aber ein guter Schutz beobachtet auch das Verhalten: jemand, der jeden Laden in der Straße besucht und aufschreibt, wer hineingeht. Du brauchst ihren Namen nicht, um zu sehen, was sie tun.

Trackers haben auch verräterisches Verhalten. In dieser Lektion suchst du nach drei Hinweisen im Request Log eines Browsers:

  1. Überall gleichzeitig. Dieselbe Drittanbieter-Seite erscheint auf zwei oder mehr verschiedenen Seiten. Das ist es, was es ermöglicht, deine Besuche zusammenzufügen.
  2. eine eindeutige ID in der Adresse. ein Abfragewert wie cid=df0641532d7f der zufällig aussieht: das ist ein Namensschild für dich.
  3. A Pixel. Ein "Bild" von 100 Bytes oder weniger, zu klein um etwas zu zeigen. Sein einziger Job ist es, deinen Browser dazu zu bringen, eine Anfrage zu senden.

Heuristic: eine Faustregel, die meistens richtig ist, aber nicht immer, wie "dunkle Wolken bedeuten Regen". Heuristiken können neue Dinge finden, aber sie können auch getäuscht werden.

Unsere Regel: eine Seite ist ein Tracker, wenn Hinweis 1 wahr ist und mindestens einer der Hinweise 2 oder 3 wahr ist. Hinweis 1 zu verlangen hält den harmlosen cdn.example sicher: er ist auf jedem Shop, aber er sendet keine ID und sein Logo ist ein echtes 2 KB Bild.

Wie zufällig ist Zufall? Entropie, kurz

Um eine ID von einem normalen Wort zu unterscheiden, messen wir, wie vermischt ihre Zeichen sind. aaaa ist überhaupt nicht vermischt. abcd verwendet vier verschiedene Zeichen gleichmäßig.

Shannon-Entropie: eine Zahl für die Unvorhersehbarkeit von etwas, in Bits. Für einen Text: nimm für jedes verschiedene Zeichen seinen Anteil p am Text und addiere -p * log2(p). Mehr Vielfalt gibt mehr Bits.

char_entropy("aaaa")   # 0.0  every character is the same
char_entropy("abab")   # 1.0  two characters, half each
char_entropy("abcd")   # 2.0  four characters, a quarter each

math.log2(p) ist "wie oft halbiere ich 1 um p zu erhalten", gegeben als negative Zahl, weshalb es ein Minuszeichen gibt. collections.Counter(text) zählt jeden Charakter für dich. Du wirst diese gleiche Formel wieder treffen, angewendet auf ganze Mengen von Browsern, im nächsten Modul.

Entropy allein reicht nicht aus: trail-shoes ist auch ziemlich gemischt. So looks_like_id verlangt auch mindestens 8 Zeichen, nur Buchstaben, - oder _, und mindestens einen Buchstaben und eine Ziffer. Wörter scheitern am Ziffertest; Daten und URLs scheitern am Buchstaben oder dem Zeichentest.

Log lesen

Jedes record in browser.log hat das, was du brauchst:

  • site_of(record.url) und record.top_site: wenn sie sich unterscheiden, ist es ein Dritter.
  • record.request.params: die Abfrage als Dictionary, bereits dekodiert.
  • record.response: None wenn blockiert; ansonsten .header("Content-Type") und .size in Bytes.

Ehrliche Grenzen

Ein

A Tracker auf nur einer Seite in deinem Log bleibt unbemerkt, selbst wenn er auf tausenden Seiten ist, die du noch nicht besucht hast. Ein Tracker, der IDs in einem Cookie versteckt und ein Bild normaler Größe sendet, schlüpft ebenfalls durch. Und ein First-Party Analytics Script, das IDs an seine eigene Seite sendet, ist überhaupt kein Third Party. Deshalb nutzen echte Blocker Listen und Heuristiken zusammen.

Probier es aus Öffne DevTools (F12 oder Cmd+Option+I auf einem Mac), gehe zum Network Tab, filtere nach Img und lade eine Nachrichtenseite. Sortiere nach Size. Die Size Spalte zählt auch die Response Header mit, also zeigt ein Pixel, dessen Bild nur ein paar Dutzend Bytes groß ist, immer noch einige hundert an. Jedes Bild, das so winzig ist und von einer anderen Seite kommt, ist sehr wahrscheinlich ein Pixel. Klicke auf eines und schaue in der Query String nach einem langen zufälligen Wert.

In anderen Sprachen

JavaScript:

function charEntropy(text) {
  if (!text) return 0;
  const counts = {};
  for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
  let bits = 0;
  for (const n of Object.values(counts)) {
    const p = n / text.length;
    bits -= p * Math.log2(p);
  }
  return bits;
}

const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
  && /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;

C#:

static double CharEntropy(string text) =>
    text.Length == 0 ? 0 :
    -text.GroupBy(c => c)
         .Select(g => (double)g.Count() / text.Length)
         .Sum(p => p * Math.Log2(p));

Zusammenfassung

  • Verhalten verrät Tracker: sie sind auf vielen Seiten präsent, senden zufällige IDs und laden Pixel.
  • Shannon-Entropie misst, wie gemischt ein Text ist; zufällige IDs erzielen hohe Werte.
  • Die Anforderung "auf 2 oder mehr Seiten" schützt harmlose Helfer wie ein CDN.
  • Heuristiken fangen neue Tracker ab, aber übersehen einige; echte Blocker kombinieren sie mit Listen.
Du bist dran

Schreibe char_entropy(text) (Shannon-Entropie in Bits pro Zeichen, 0.0 für leeren Text), looks_like_id(value) (mindestens 8 Zeichen, alle in ID_CHARS, mindestens eine Ziffer und ein Buchstabe, Entropie mindestens 2.0), is_pixel(record) (eine Antwort mit einem Content-Type beginnend mit image/ und Größe 100 Bytes oder weniger) und find_trackers(log), gib die Menge der Seiten zurück, die als Drittanbieter auf mindestens 2 verschiedenen Top-Seiten erscheinen und einen ID-ähnlichen Abfragewert gesendet oder ein Pixel erhalten haben. Benutze nicht watched.reference.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.