课程大纲 第 37 课,共 156 课 · 从内部看 HTTP
从内部看 HTTP

URL 与链接清理

为什么重要 当 Cookie 被屏蔽或分区时,跟踪者会把你的 ID 放在链接本身里携带,而每当你复制并分享这样一个链接时,你就把点击 ID 也一起传了出去。一个链接清理器会在每次导航时去掉这些装饰,而不会弄坏页面。浏览器和拦截器都自带一个;在这里你要写出你自己的,而拦截器模块会复用这个想法。

想想一张包裹标签。地址是快递员需要的东西。一路上经手它的每个人加上的贴纸(“来自简报”“客户编号 7f3a”)则不是。清理一个链接,意味着把这些贴纸撕掉,同时让地址保持原样。

URL:一个网址,由几部分组成:https://shopa.example:443/p/tent?colour=green#reviews 有一个协议(https)、一个主机(shopa.example)、一个端口(443)、一个路径(/p/tent)、一个查询(colour=green)和一个片段(reviews,它留在浏览器里,不会被发送给服务器)。

查询参数:查询中的一个 name=value 片段,用 & 和其他片段分隔开。

链接装饰:加到一个链接上的参数,用来把一个 ID 或活动标签从一个网站带到另一个网站,比如 utm_source、fbclid 或 gclid。

两项工作:先规范化,再去除

规范化意味着每次都用同样的方式写同一个地址。协议和主机不区分大小写,所以 HTTPS://SHOPA.Example 变成 https://shopa.example。端口 443 是 HTTPS 的默认端口(HTTP 是 80),所以写出来也不会增加任何东西。空的路径就是 /。路径本身在许多服务器上是区分大小写的,所以别动它。

去除意味着只去掉跟踪参数。watched.leg2c_http 中的 STRIP_PARAMS 列出了那些点击 ID 和活动名称(来自广告平台、电子邮件工具和社交网站),而每一个以 utm_ 开头的名字也都要去掉。在转成小写并解码之后比较名称(utm%5Fsource 就是伪装起来的 utm_source)。其他一切都要完全保持原样:q=red+tent 不能变成 q=red%20tent,而且顺序对某些网站来说很重要。

百分号编码:把一个字符写成 % 加上两个十六进制数字,好让它能在 URL 里安全地传送:%5F 是 _,%26 是 &。urllib.parse.unquote 会把它变回来。

from urllib.parse import urlsplit
parts = urlsplit("https://Shop.Example:443/p?utm_source=x&id=5#top")
parts.scheme, parts.hostname, parts.port, parts.path, parts.query, parts.fragment
# ('https', 'shop.example', 443, '/p', 'utm_source=x&id=5', 'top')

为什么不用 urlencode 重建查询?因为它会重新编码值,并可能悄悄地改变它们。在 & 处切分原始的查询,并保留那些没被动过的片段,会更安全。像 ?to=https%3A%2F%2F...%3Futm_source%3Dx 这样嵌套的地址,是一个普通参数的一个经过编码的值;在这里别动它(拆开跳转链接是下一课和拦截器的工作)。

一个常见的误解

“为了安全,把每个参数都去掉。”这会弄坏搜索结果(q=)、页码(page=2),而最糟糕的是,会弄坏密码重置和登录链接(token=)。40 个计分案例中有一个正是那种重置链接。浏览器里的清理器出于同样的原因使用一份列表(2026 年 10 月核实)。

试一试 把一封简报邮件或一条社交媒体帖子里的链接复制到一个文本编辑器里。你能找出 utm_ 参数或者一个很长的点击 ID 吗?去掉它们,打开那个更短的链接,检查页面是否仍然能正常工作。

用其他语言实现

JavaScript:

function cleanLink(link) {
  const u = new URL(link);                 // lower-cases host, drops default port
  if (!["http:", "https:"].includes(u.protocol)) return link;
  const kept = u.search.slice(1).split("&").filter(piece => {
    const name = decodeURIComponent(piece.split("=")[0]).toLowerCase();
    return piece && !name.startsWith("utm_") && !STRIP.has(name);
  });
  u.search = kept.length ? "?" + kept.join("&") : "";
  return u.toString();
}

C#:

var u = new Uri(link);
var kept = u.Query.TrimStart('?').Split('&')
    .Where(p => p != "" && !IsTracking(Uri.UnescapeDataString(p.Split('=')[0])));
var b = new UriBuilder(u) { Query = string.Join("&", kept) };

回顾

  • 规范化那些不区分大小写的部分(协议、主机),去掉默认端口,并把空的路径变成 /。
  • 只去掉已知的跟踪参数,在解码并转成小写之后进行比较;其他每一个片段都完全保持原样,并保持顺序。
  • 保留片段,别动非网页链接,并且永远不要去掉页面需要的令牌。
轮到你了

编写 is_tracking_param(name):当这个名字用 unquote 进行百分号解码并转成小写之后,以 utm_ 开头或者在 STRIP_PARAMS 中时,返回 True。然后编写 clean_link(url):非 http/https 的链接保持不变;把协议和主机转成小写(任何 user@ 部分都完全保持原样,IPv6 地址周围的方括号也保留);去掉默认端口;把空的路径变成 /;在 & 处切分查询,去掉空的片段和跟踪参数,其余的完全保持原样并保持顺序;什么都不剩时不要 ?;保留 #fragment。它会在 LINK_CASES 中的 40 个案例以及随机链接上评分。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。