Kurrikulum Leson 37 van 156 · HTTP van binne af
HTTP van binne af

URLs en skakelreiniging

Waarom dit saak maak Wanneer cookies geblokkeer of gepartisioneer word, dra trackers jou ID in die skakel self, en elke keer as jy so 'n skakel kopieer en deel, stuur jy die click ID saam daarmee. 'n Link cleaner verwyder daardie versiering by elke navigasie sonder om die bladsy te breek. Blaaiers en blokkeerders verskaf een; hier skryf jy jou eie, en die blocker module hergebruik die idee.

Dink aan 'n pakketetiket. Die adres is wat die koerier nodig het. Plakkers wat deur almal bygevoeg is wat dit langs die pad hanteer het ("gekom via die nuusbrief", "kliëntnommer 7f3a") is nie. Om 'n skakel skoon te maak beteken om die plakkers af te skeur terwyl die adres presies so bly as wat dit was.

URL: 'n webadres, in dele: https://shopa.example:443/p/tent?colour=green#reviews het 'n scheme (https), 'n host (shopa.example), 'n port (443), 'n path (/p/tent), 'n query (colour=green) en 'n fragment (reviews, wat in die blavier bly en nie na die bediener gestuur word nie).

Query parameter: een name=value stukkie van die query, geskei van die ander deur &.

Link-versiering: parameters wat by 'n link gevoeg word om 'n ID of promosie-etiket van een webwerf na 'n ander te dra, soos utm_source, fbclid of gclid.

Twee take: normalise, dan strip

Normalise beteken om dieselfde adres elke keer op dieselfde manier te skryf. Scheme en host is nie gevallig nie, so HTTPS://SHOPA.Example word https://shopa.example. Port 443 is die standaard vir HTTPS (80 vir HTTP), so om dit te skryf voeg niks by nie. 'n Leë pad is /. Die pad self is gevallig op baie bedieners, so laat dit alleen.

Strip beteken om net spooropsporingsparameters te verwyder. STRIP_PARAMS in watched.leg2c_http lys die click-ID en promosiename (van advertensieplatforms, e-posgereedskap en sosiale webstowwe), en elke naam wat met utm_ begin, gaan ook saam. Vergelyk name in kleinletters en na dekodeer (utm%5Fsource is utm_source in vermomming). Alles anders bly exactly soos geskryf: q=red+tent moet nie q=red%20tent word nie, en volgorde saak vir sommige webstowwe.

Percent-encoding: skryf 'n karakter as % plus twee heksadesiale syfers, sodat dit veilig in 'n URL kan reis: %5F is _, %26 is &. urllib.parse.unquote verander dit terug.

from urllib.parse import urlsplit
parts = urlsplit("https://Shop.Example:443/p?utm_source=x&id=5#top")
parts.scheme, parts.hostname, parts.port, parts.path, parts.query, parts.fragment
# ('https', 'shop.example', 443, '/p', 'utm_source=x&id=5', 'top')

Hoekom moet jy nie die query met urlencode herbou nie? Want dit herkodere waardes en kan dit stilweg verander. Om die rou query op & te verdeel en die onveranderde dele te hou is veiliger. 'n Nestel adres soos ?to=https%3A%2F%2F...%3Futm_source%3Dx is een gekodeerde waarde van 'n normale parameter; laat dit hier alleen. Om bounce links te ontpak is 'n taak vir die volgende les en die blocker.

A algemene wanbeleving

"Strip elke parameter om veilig te wees." Dit breek soekresultate (q=), bladsynommers (page=2) en, die ergste van alles, wagwoordherstel- en aanmeldskakels (token=). Een van die 40 gemerkte gevalle is presies daardie herstelskakel. Skoonmakers in blousers gebruik 'n lys vir dieselfde rede (nasien in Oktober 2026).

Probeer dit Kopieer 'n skakel van 'n nuusbrief-e-pos of 'n sosiale media-pos na 'n teksredigeer. Kan jy utm_ parameters of 'n lang click ID sien? Verwyder hulle, maak die korter skakel oop, en kyk of die bladsy nog werk.

In ander tale

JavaScript:

function cleanLink(link) {
  const u = new URL(link);                 // lower-cases host, drops default port
  if (!["http:", "https:"].includes(u.protocol)) return link;
  const kept = u.search.slice(1).split("&").filter(piece => {
    const name = decodeURIComponent(piece.split("=")[0]).toLowerCase();
    return piece && !name.startsWith("utm_") && !STRIP.has(name);
  });
  u.search = kept.length ? "?" + kept.join("&") : "";
  return u.toString();
}

C#:

var u = new Uri(link);
var kept = u.Query.TrimStart('?').Split('&')
    .Where(p => p != "" && !IsTracking(Uri.UnescapeDataString(p.Split('=')[0])));
var b = new UriBuilder(u) { Query = string.Join("&", kept) };

Opsomming

  • Normaliseer die dele wat nie gevalgevoelig is nie (scheme, host), verwyder standaardhawwe, en verander 'n leë pad na /.
  • Verwyder net bekende spooropsporingsparameters, vergelyk in kleinletters na dekodering; hou elke ander stuk presies soos geskryf en in volgorde.
  • Hou die fragment, los nie-webskakels alleen, en verwyder nooit tokens wat 'n bladsy nodig het nie.
Jou beurt

Skryf is_tracking_param(name): True wanneer die naam, percent-ontkodeer met unquote en na kleinletters verander, begin met utm_ of in STRIP_PARAMS is. Skryf dan clean_link(url): laat nie-http/https skakels onveranderd; verander skema en gasheer na kleinletters (hou enige user@ deel presies soos geskryf, en die vierkantige hakies rondom 'n IPv6-adres); verwyder 'n standaardpoort; verander 'n leë pad na /; verdeel die query op &, verwyder leë dele en spoorparameters, hou die res presies soos geskryf en in volgorde; geen ? as niks oorbly nie; hou die #fragment. Dit word gegradeer op die 40 gevalle in LINK_CASES plus wansinnige skakels.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.