سرفصل‌ها درس 37 از 156 · HTTP از درون
HTTP از درون

URLها و پاک‌کردن پیوند

چرا مهم است وقتی کوکی‌ها مسدود یا بخش‌بندی شده‌اند، ردیاب‌ها شناسهٔ شما را در خود پیوند حمل می‌کنند، و هر بار که چنین پیوندی را کپی و به اشتراک می‌گذارید شناسهٔ کلیک را هم همراهش می‌فرستید. یک پاک‌کنندهٔ پیوند آن آراستن را در هر پیمایش بدون شکستن صفحه حذف می‌کند. مرورگرها و مسدودکننده‌ها یکی همراه دارند؛ اینجا مال خودتان را می‌نویسید، و ماژول مسدودکننده این ایده را دوباره به کار می‌برد.

برچسب یک بسته را در نظر بگیرید. نشانی همان چیزی است که پیک لازم دارد. برچسب‌هایی که هر کسی که آن را در راه جابه‌جا کرد اضافه کرده («از راه خبرنامه آمد»، «شمارهٔ مشتری 7f3a») لازم نیستند. پاک‌کردن یک پیوند یعنی کندن برچسب‌ها و دست‌نخورده‌گذاشتن نشانی دقیقاً همان‌طور که بود.

URL: یک نشانی وب، در بخش‌ها: https://shopa.example:443/p/tent?colour=green#reviews یک طرح (https)، یک میزبان (shopa.example)، یک درگاه (443)، یک مسیر (/p/tent)، یک پرس‌وجو (colour=green) و یک fragment (reviews، که در مرورگر می‌ماند و به سرور فرستاده نمی‌شود) دارد.

پارامتر پرس‌وجو (query parameter): یک تکهٔ name=value از پرس‌وجو، که با & از بقیه جدا شده است.

آراستن پیوند (link decoration): پارامترهایی که به یک پیوند اضافه می‌شوند تا یک شناسه یا برچسب کمپین را از یک سایت به سایت دیگر ببرند، مانند utm_source، fbclid یا gclid.

دو کار: یکدست‌کردن، سپس حذف

یکدست‌کردن یعنی نوشتن همان نشانی هر بار به همان شکل. طرح و میزبان به بزرگی و کوچکی حروف حساس نیستند، پس HTTPS://SHOPA.Example به https://shopa.example تبدیل می‌شود. درگاه 443 پیش‌فرض HTTPS است (80 برای HTTP)، پس نوشتنش چیزی اضافه نمی‌کند. یک مسیر خالی / است. خود مسیر در بسیاری از سرورها به بزرگی و کوچکی حروف حساس است، پس به حال خود بگذاریدش.

حذف یعنی برداشتن فقط پارامترهای ردیابی. STRIP_PARAMS در watched.leg2c_http نام‌های شناسهٔ کلیک و کمپین را (از بسترهای تبلیغاتی، ابزارهای ایمیل و سایت‌های اجتماعی) فهرست می‌کند، و هر نامی که با utm_ شروع شود هم می‌رود. نام‌ها را با حروف کوچک و پس از رمزگشایی مقایسه کنید (utm%5Fsource همان utm_source در لباس مبدل است). هر چیز دیگری دقیقاً همان‌طور که نوشته شده می‌ماند: q=red+tent نباید به q=red%20tent تبدیل شود، و ترتیب برای برخی سایت‌ها مهم است.

رمزگذاری درصدی (percent-encoding): نوشتن یک نویسه به شکل % به‌علاوهٔ دو رقم شانزده‌شانزدهی، تا بتواند با ایمنی در یک URL سفر کند: %5F همان _ است، %26 همان &. urllib.parse.unquote آن را برمی‌گرداند.

from urllib.parse import urlsplit
parts = urlsplit("https://Shop.Example:443/p?utm_source=x&id=5#top")
parts.scheme, parts.hostname, parts.port, parts.path, parts.query, parts.fragment
# ('https', 'shop.example', 443, '/p', 'utm_source=x&id=5', 'top')

چرا پرس‌وجو را با urlencode دوباره نسازیم؟ چون مقدارها را دوباره رمزگذاری می‌کند و می‌تواند بی‌صدا تغییرشان دهد. جداکردن پرس‌وجوی خام روی & و نگه‌داشتن تکه‌های دست‌نخورده ایمن‌تر است. یک نشانی تودرتو مانند ?to=https%3A%2F%2F...%3Futm_source%3Dx یک مقدار رمزگذاری‌شده از یک پارامتر معمولی است؛ اینجا به حال خود بگذاریدش (بازکردن پیوندهای جهشی کار درس بعد و مسدودکننده است).

یک تصور نادرست رایج

«برای ایمنی همهٔ پارامترها را حذف کن.» این نتیجه‌های جست‌وجو (q=)، شمارهٔ صفحه‌ها (page=2) و، بدتر از همه، پیوندهای بازنشانی گذرواژه و ورود (token=) را می‌شکند. یکی از 40 حالت نمره‌دار دقیقاً همان پیوند بازنشانی است. پاک‌کننده‌ها در مرورگرها به همین دلیل از یک فهرست استفاده می‌کنند (بررسی‌شده در اکتبر 2026).

امتحان کنید پیوندی را از یک ایمیل خبرنامه یا یک پست شبکهٔ اجتماعی در یک ویرایشگر متن کپی کنید. آیا می‌توانید پارامترهای utm_ یا یک شناسهٔ کلیک طولانی را تشخیص دهید؟ حذفشان کنید، پیوند کوتاه‌تر را باز کنید، و بررسی کنید صفحه همچنان کار می‌کند.

در زبان‌های دیگر

JavaScript:

function cleanLink(link) {
  const u = new URL(link);                 // lower-cases host, drops default port
  if (!["http:", "https:"].includes(u.protocol)) return link;
  const kept = u.search.slice(1).split("&").filter(piece => {
    const name = decodeURIComponent(piece.split("=")[0]).toLowerCase();
    return piece && !name.startsWith("utm_") && !STRIP.has(name);
  });
  u.search = kept.length ? "?" + kept.join("&") : "";
  return u.toString();
}

C#:

var u = new Uri(link);
var kept = u.Query.TrimStart('?').Split('&')
    .Where(p => p != "" && !IsTracking(Uri.UnescapeDataString(p.Split('=')[0])));
var b = new UriBuilder(u) { Query = string.Join("&", kept) };

خلاصه

  • بخش‌هایی را که به بزرگی و کوچکی حروف حساس نیستند (طرح، میزبان) یکدست کنید، درگاه‌های پیش‌فرض را حذف کنید، و یک مسیر خالی را به / تبدیل کنید.
  • فقط پارامترهای ردیابی شناخته‌شده را حذف کنید، که با حروف کوچک و پس از رمزگشایی مقایسه می‌شوند؛ هر تکهٔ دیگر را دقیقاً همان‌طور که نوشته شده و به ترتیب نگه دارید.
  • fragment را نگه دارید، پیوندهای غیروب را به حال خود بگذارید، و هرگز توکن‌هایی را که یک صفحه لازم دارد حذف نکنید.
نوبت شما

is_tracking_param(name) را بنویسید: True وقتی نام، که با unquote رمزگشایی درصدی و به حروف کوچک تبدیل شده، با utm_ شروع شود یا در STRIP_PARAMS باشد. سپس clean_link(url) را بنویسید: پیوندهای غیر http/https را بی‌تغییر بگذارید؛ طرح و میزبان را به حروف کوچک تبدیل کنید (هر بخش user@ را دقیقاً همان‌طور که نوشته شده نگه دارید، و کروشه‌های دور یک نشانی IPv6 را)؛ یک درگاه پیش‌فرض را حذف کنید؛ یک مسیر خالی را به / تبدیل کنید؛ پرس‌وجو را روی & جدا کنید، تکه‌های خالی و پارامترهای ردیابی را حذف کنید، بقیه را دقیقاً همان‌طور که نوشته شده و به ترتیب نگه دارید؛ وقتی هیچ چیز نماند ? نگذارید؛ #fragment را نگه دارید. بر اساس 40 حالت LINK_CASES به‌علاوهٔ پیوندهای تصادفی نمره می‌گیرد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.