Programma Les 37 van 156 · HTTP van binnenuit
HTTP van binnenuit

URL's en link opschonen

Waarom dit ertoe doet Wanneer cookies worden geblokkeerd of gesegmenteerd, dragen trackers je ID in de link zelf. Elke keer als je zo'n link kopieert en deelt, geef je de click ID mee. Een link cleaner verwijdert die extra informatie bij elke navigatie zonder de pagina te breken. Browsers en blockers leveren er een; hier schrijf je de jouwe, en het blocker module hergebruikt het idee.

Denk aan een pakketlabel. Het adres is wat de koerier nodig heeft. Stickers toegevoegd door iedereen die het onderweg heeft aangeraakt ("kwam via de nieuwsbrief", "klantnummer 7f3a") zijn dat niet. Een link schoonmaken betekent het afpellen van de stickers terwijl het adres precies hetzelfde blijft.

URL: een webadres, in delen: https://shopa.example:443/p/tent?colour=green#reviews heeft een scheme (https), een host (shopa.example), een port (443), een path (/p/tent), een query (colour=green) en een fragment (reviews, wat in de browser blijft en niet naar de server wordt gestuurd).

Query parameter: één name=value stuk van de query, gescheiden van de anderen door &.

Link decoration: parameters toegevoegd aan een link om een ID of campagne label van de ene site naar de andere te dragen, zoals utm_source, fbclid of gclid.

Twee taken: normalise, dan strip

Normalise betekent het elke keer op dezelfde manier schrijven van hetzelfde adres. Scheme en host zijn niet hoofdlettergevoelig, dus HTTPS://SHOPA.Example wordt https://shopa.example. Poort 443 is de standaard voor HTTPS (80 voor HTTP), dus het opschrijven ervan voegt niets toe. Een lege pad is /. Het pad zelf is hoofdlettergevoelig op veel servers, dus laat het zoals het is.

Strip betekent alleen het verwijderen van tracking parameters. STRIP_PARAMS in watched.leg2c_http bevat de click-ID en campagne namen (van advertentieplatforms, e-mailtools en sociale sites), en elke naam die begint met utm_ gaat ook mee. Vergelijk namen in kleine letters en na het decoderen (utm%5Fsource is utm_source in vermomming). Alles wat overblijft blijft exactly zoals geschreven: q=red+tent mag niet q=red%20tent worden, en volgorde is voor sommige sites belangrijk.

Percent-encoding: het schrijven van een teken als % plus twee hex-cijfers, zodat het veilig kan reizen in een URL: %5F is _, %26 is &. urllib.parse.unquote zet het terug.

from urllib.parse import urlsplit
parts = urlsplit("https://Shop.Example:443/p?utm_source=x&id=5#top")
parts.scheme, parts.hostname, parts.port, parts.path, parts.query, parts.fragment
# ('https', 'shop.example', 443, '/p', 'utm_source=x&id=5', 'top')

Waarom de query niet opnieuw opbouwen met urlencode? Omdat het waarden opnieuw codeert en deze onopgemerkt kan veranderen. De ruwe query splitsen op & en de onveranderde stukken behouden is veiliger. Een genest adres zoals ?to=https%3A%2F%2F...%3Futm_source%3Dx is één gecodeerde waarde van een normale parameter; laat het hier met rust (het ontpakken van bounce links is een taak voor de volgende les en de blocker).

A veelvoorkomende misvatting

"Strip elke parameter om veilig te zijn." Dat breekt zoekresultaten (q=), paginanummers (page=2) en, het ergste van alles, wachtwoord-reset en login links (token=). Een van de 40 beoordeelde gevallen is precies die reset link. Cleaners in browsers gebruiken een lijst om dezelfde reden (gecontroleerd oktober 2026).

Probeer het Kopieer een link uit een nieuwsbrief of een bericht op sociale media naar een tekstverwerker. Kun je utm_ parameters of een lange click ID zien? Verwijder deze, open de kortere link en controleer of de pagina nog werkt.

In andere talen

JavaScript:

function cleanLink(link) {
  const u = new URL(link);                 // lower-cases host, drops default port
  if (!["http:", "https:"].includes(u.protocol)) return link;
  const kept = u.search.slice(1).split("&").filter(piece => {
    const name = decodeURIComponent(piece.split("=")[0]).toLowerCase();
    return piece && !name.startsWith("utm_") && !STRIP.has(name);
  });
  u.search = kept.length ? "?" + kept.join("&") : "";
  return u.toString();
}

C#:

var u = new Uri(link);
var kept = u.Query.TrimStart('?').Split('&')
    .Where(p => p != "" && !IsTracking(Uri.UnescapeDataString(p.Split('=')[0])));
var b = new UriBuilder(u) { Query = string.Join("&", kept) };

Samenvatting

  • Normaliseer de delen die niet hoofdlettergevoelig zijn (scheme, host), verwijder standaard poorten en verander een lege pad naar /.
  • Verwijder alleen bekende tracking parameters, vergeleken in kleine letters na decodering; houd elk ander stuk exact zoals geschreven en in volgorde.
  • Houd het fragment vast, laat niet-web links met rust, en verwijder nooit tokens die een pagina nodig heeft.
Jij bent aan de beurt

Schrijf is_tracking_param(name): True wanneer de naam, percent-gedecodeerd met unquote en naar kleine letters omgezet, begint met utm_ of in STRIP_PARAMS staat. Schrijf dan clean_link(url): laat niet-http/https links onveranderd; zet het schema en de host naar kleine letters (houd elk user@ deel exact zoals geschreven, en de vierkante haakjes rond een IPv6-adres); verwijder een standaardpoort; verander een lege pad naar /; splits de query op &, verwijder lege stukken en tracking parameters, houd de rest exact zoals geschreven en in volgorde; geen ? wanneer niets overblijft; houd de #fragment. Het wordt beoordeeld op de 40 gevallen in LINK_CASES plus willekeurige links.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.