Programma Les 124 van 156 · Bouw de verdedigingen
Bouw de verdedigingen

Schone links bij navigatie

Waarom dit ertoe doet Partitioning houdt ID's buiten gedeelde opslag, maar het kan een ID niet zien dat in de link zelf is geschreven. Wanneer je op shopa.example/p/tent?fbclid=IwAR0x9k2 klikt, reist de ID mee in het adres en de volgende site leest het direct uit de URL. Een engine kan die namen uit elke navigatie verwijderen voordat de request je apparaat verlaat. Het moeilijke deel is dit doen zonder de inlog- en betaallinks te breken die er precies hetzelfde uitzien.

Stel je een postkantoor voor dat de reclamestickers van elke envelop afhaalt voor de bezorging. Het is een goede service, totdat het het ordernummer afhaalt dat een winkel nodig heeft om jouw pakket te vinden. Dus het postkantoor houdt een korte lijst bij: "stickers genaamd ref blijven op enveloppen voor het betalingskantoor".

Link decoration: een ID of campagne tag toegevoegd aan de query string van een link, het deel na ?, zoals utm_source=news of gclid=Cj0KCQ7.

Query parameter: één name=value paar in de query string. Paren worden gescheiden door &.

Navigatie: een hele pagina in het tabblad laden: een adres typen, op een link klikken, of een redirect volgen onderweg. Afbeeldingen en scripts binnen een pagina zijn geen navigaties.

Allowlist: een korte lijst van uitzonderingen: namen die een specifieke site nodig heeft, behouden ook al staan ze op de strip lijst.

Waarom tijdens navigatie, en alleen daar

In Etappe 2 schreef je een link cleaner als een functie. Binnen een engine draait deze bij elke navigatie, inclusief elke redirect hop. Waarom dit ertoe doet: een click server zoals deco.example/out?to=... kan adco_id toevoegen aan de link tijdens de doorvoer, nadat je klikte. Alleen een cleaner die elke hop ziet verwijdert het.

Engines laten de adressen van afbeeldingen, scripts en frames met rust. De eigen scripts van een pagina kunnen een ID op elke manier sturen, dus het opschonen van die adressen beschermt weinig en breekt veel.

Sommige echte browsers doen dit vandaag (gecontroleerd in oktober 2026). Firefox verwijdert bijvoorbeeld een lijst van bekende tracking parameters in Strict mode en in privévensters, Safari verwijdert er een paar in Private Browsing, en Brave verwijdert standaard een lijst van bekende parameters. Elke lijst is kort en zorgvuldig gekozen, om de reden die de volgende sectie uitlegt.

Waarom de allowlist bestaat

Sommige namen zijn alleen trackers, zoals fbclid of utm_campaign. Korte, algemene namen zijn lastiger. In de praktijk is ref een affiliate tag op ShopC maar de orderreferentie op pay.example; cid is een analytics ID op ShopA maar de sign-in ID van de app op signin.example. Verwijder ze overal en betalingen en inloggen falen. De module geeft je:

TRACKING_PARAMS = {"fbclid", "gclid", "msclkid", "mc_eid", "adco_id", "ref", "cid"}
TRACKING_PREFIXES = ("utm_",)            # every name starting with utm_
ALLOWLIST = {"pay.example": {"ref"}, "signin.example": {"cid"}}

Vergelijk namen in kleine letters: UTM_Source is nog steeds een campagne tag. name.lower() geeft de tekst in kleine letters, en name.startswith(TRACKING_PREFIXES) controleert elke prefix in de tuple tegelijk.

Een URL uit elkaar halen en weer terugzetten

Python's urllib.parse doet de lastige delen. Knip URLs nooit op met simpele teksttrucs: waarden kunnen encoded karakters bevatten zoals %20.

from urllib.parse import urlsplit, parse_qsl, urlencode, urlunsplit

parts = urlsplit("https://shopa.example/p/tent?q=tent&utm_source=news#reviews")
print(parts.scheme, parts.hostname, parts.path)   # https shopa.example /p/tent
pairs = parse_qsl(parts.query, keep_blank_values=True)
print(pairs)                                      # [('q', 'tent'), ('utm_source', 'news')]
kept = [(k, v) for k, v in pairs if k != "utm_source"]
print(urlunsplit((parts.scheme, parts.netloc, parts.path, urlencode(kept), parts.fragment)))
# https://shopa.example/p/tent?q=tent#reviews

[(k, v) for k, v in pairs if ...] is een list comprehension: een korte manier om te schrijven "maak een nieuwe lijst van de paren die deze test doorstaan". Wanneer er geen paren meer overblijven, is urlencode([]) leeg en verwijdert urlunsplit de ? voor je. parts.netloc is de host plus elke poort; de site voor de allowlist komt uit site_of(url).

Het in de engine plaatsen

De practice browser neemt een blocker(request) die elke aanvraag ziet, inclusief redirect hops. Het kan "allow", "block" of een nieuwe URL om te gebruiken teruggeven. request.kind is "document" of "form" voor navigaties. Je blocker verwijdert die en laat alles anders ongemoeid. Let op dat het nooit "block" teruggeeft voor een navigatie: de persoon koos ervoor om daarheen te gaan, dus de engine reinigt de reis in plaats van deze te annuleren.

run_journeys(blocker) volgt tien versierde links, door redirects, betalingen en aanmeldingen, en rapporteert voor elk: status, leaked (tracking namen die de landingsserver nog ontving) en missing (namen van de site die nodig was maar verloren ging).

Probeer het Kopieer een link uit een nieuwsbrief of een sociale site en plak deze in een tekstverwerker. Zoek de ? en lees elke naam voor een =. Open daarna de link in een privévenster van Firefox en vergelijk de adresbalk: bekende trackingnamen zijn weg.

In andere talen

Dezelfde cleaner in JavaScript, met de ingebouwde URL klasse:

const TRACKING = new Set(["fbclid", "gclid", "msclkid", "mc_eid", "adco_id", "ref", "cid"]);
const ALLOW = { "pay.example": new Set(["ref"]), "signin.example": new Set(["cid"]) };
function cleanUrl(text, site) {
  const url = new URL(text);
  const keep = ALLOW[site] ?? new Set();
  for (const name of [...url.searchParams.keys()]) {
    const low = name.toLowerCase();
    if ((TRACKING.has(low) || low.startsWith("utm_")) && !keep.has(low)) url.searchParams.delete(name);
  }
  return url.toString();
}

C#, met System.Web.HttpUtility:

// needs: using System.Linq; using System.Web;
// IsTracking(name, site) is your is_tracking, written in C#
var uri = new UriBuilder(url);
var query = HttpUtility.ParseQueryString(uri.Query);
foreach (var name in query.AllKeys.ToList())
    if (IsTracking(name, site)) query.Remove(name);
uri.Query = query.ToString();

Samenvatting

  • Link decoratie bevat ID's in het adres, waar partitionering niet kan bereiken.
  • Maak elke navigatie, inclusief redirect hops schoon, en laat subresources met rust.
  • Blokkeer nooit een navigatie die de persoon koos: maak het schoon.
  • Korte algemene namen hebben een allowlist per site nodig, anders werken aanmeldingen en betalingen niet.
Jij bent aan de beurt

Gebruik TRACKING_PARAMS, TRACKING_PREFIXES en ALLOWLIST uit watched.leg6b_links om is_tracking(name, site) te schrijven: True als de kleine naam in TRACKING_PARAMS staat of begint met een prefix, and is niet in ALLOWLIST.get(site, set()). Schrijf clean_url(url), wat elk tracking paar voor de site van die URL verwijdert, de rest in volgorde behoudt en het fragment behoudt. Schrijf blocker(request): voor request.kind "document" of "form" geef clean_url(request.url) terug; anders geef "allow" terug. Zet daarna results = run_journeys(blocker). Schrijf de cleaning zelf: gebruik geen is_tracking_name of reference_clean van de module.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.