站点、源与“同站”
为什么重要 浏览器内部的每一条隐私规则,都从一个问题开始:“这是哪个站点?”Cookie、分区、SameSite、跟踪器列表和跳转检测,都会把东西归档到一个站点下面。如果一个引擎把这个答案弄错了,一个跟踪者就可能溜进两个罐子之间,或者两个陌生人的博客最终会共用一个罐子。在这一课里,你要亲手写出这个答案。
想想一栋公寓楼。街道地址(example)是每个人共用的,所以它完全说明不了谁住在哪里。门牌号加上街道(shopa.example)是一户人家。公寓里的各个房间(cdn.shopa.example、www.shopa.example)都属于同一户人家。浏览器想要的是那一户人家。
你需要的三个词
主机:URL 中名字的那一部分,比如 https://cdn.shopa.example:8443/lib.js 中的 cdn.shopa.example。它由用点分隔的标签组成:cdn、shopa、example。
源:协议、主机和端口合在一起,比如 https://cdn.shopa.example:8443。它是最严格的边界:https://www.shopa.example 和 https://shopa.example 是不同的源。
站点:主机中由一个所有者注册的那部分,也叫作可注册域名:对上面所有的主机来说都是 shopa.example。像分区和 SameSite 这样的隐私功能是以站点为单位工作的,因为一个所有者无论如何都控制着它下面的每一个主机。
公共后缀列表
“取最后两个标签”对 shopa.example 有效,但对 practice-shop.co.uk 就不行了:最后两个标签是 co.uk,而成千上万家互不相关的公司共用它。所以浏览器会携带一份公共后缀列表,这是一个长长的文件,列出那些任何人都可以在其下注册名字的结尾。
公共后缀:一个没有人整体拥有的结尾,比如 com、co.uk 或 github.io。站点就是公共后缀再加上它左边的一个标签。
这份列表还包含由托管服务加入的“私有”后缀。github.io 就在上面,所以 alice.github.io 和 bob.github.io 是两个不同的站点,即使服务器是由同一家公司运营的。如果没有这一条,Alice 的博客就可以设置一个被 Bob 的博客收到的 Cookie。在我们的练习世界里,pages.example 扮演同样的角色。
浏览器应用的规则是:
- 把主机转成小写,去掉端口,并去掉末尾的点(
shopa.example.是shopa.example的一种合法写法)。 - 找出主机在列表上的最长结尾。对于
a.b.practice-charity.org.uk,uk和org.uk都在列表上;org.uk胜出。 - 站点就是那个结尾再加上它左边的一个标签。
- 如果主机本身就是一个公共后缀(比如单独的
github.io),那么站点就是主机本身。 - 如果完全没有任何列出的结尾匹配,就把最后一个标签当作后缀。所以
dev.app.zz的站点是app.zz。
真实的列表还有少数通配符和例外规则,而一个 IP 地址就是它自己的站点。引擎也会处理这些;在这里你可以把它们省略掉。
区分协议的同站
较老的浏览器只比较可注册域名,所以 http://shopa.example 和 https://shopa.example 是“同站”。如今的网络标准把同站定义为区分协议的:协议是站点的一部分,所以普通 http 的页面算作另一个不可信的站点。这很重要,因为你咖啡馆 Wi-Fi 上的任何人都能篡改一个 http 页面,而它不应该能借用 https 站点的 SameSite Cookie。
| A | B | 同源吗? | 同站吗? |
|---|---|---|---|
https://www.shopa.example | https://shopa.example | 否 | 是 |
https://alice.github.io | https://bob.github.io | 否 | 否 |
http://shopa.example | https://shopa.example | 否 | 否(区分协议) |
https://shopa.example:8443 | https://shopa.example | 否 | 是(端口不算) |
你需要的 Python
除了变量、if、列表和函数之外,你还需要四个小工具。每一个都在这里展示,并附上它打印出的内容。
from urllib.parse import urlsplit # part of Python's standard library
parts = urlsplit("https://CDN.ShopA.example:8443/lib.js")
print(parts.scheme) # https
print(parts.hostname) # cdn.shopa.example (already lower case, port removed)
labels = "cdn.shopa.example".split(".") # cut a string at every dot
print(labels) # ['cdn', 'shopa', 'example']
print(labels[1:]) # ['shopa', 'example'] (a slice: from position 1 to the end)
print(".".join(labels[1:])) # shopa.example (glue a list back together with dots)
print("shopa.example.".rstrip(".")) # shopa.example (remove dots from the right end)
print("co.uk" in {"co.uk", "uk"}) # True (a set answers "is this in it?" quickly)
for i in range(3): # i takes the values 0, 1, 2
print(i)
一个巧妙的诀窍:如果你从最长的结尾(labels[0:])到最短的依次尝试,那么你在列表上找到的第一个结尾,自然就是最长的匹配。
试一试 在写代码之前,先手工算出三个:www.alice.pages.example、news.practice-paper.co.uk 和 zz。你应该得到 alice.pages.example、practice-paper.co.uk 和 zz。
用其他语言实现
真实的项目会使用一份有人维护的公共后缀列表副本,而不是自己写一份:
// JavaScript (the tldts package)
import { getDomain } from "tldts";
getDomain("https://cdn.shopa.co.uk/lib.js"); // "shopa.co.uk"
getDomain("alice.github.io", { allowPrivateDomains: true }); // "alice.github.io" (private suffixes are off by default)
new URL("https://CDN.ShopA.example:8443/").hostname; // "cdn.shopa.example"
// Go (golang.org/x/net/publicsuffix)
site, err := publicsuffix.EffectiveTLDPlusOne("alice.github.io") // "alice.github.io", nil
// Rust (the psl crate)
let site = psl::domain_str("www.shopa.co.uk"); // Some("shopa.co.uk")
// C# (built in: host only; use a public-suffix package such as Nager.PublicSuffix for the site)
var host = new Uri("https://CDN.ShopA.example:8443/").Host; // "cdn.shopa.example"一个常见的误解
“同站就是同源,只是措辞更宽松一些。”它们是不同的边界。源是 JavaScript 用来把页面彼此隔开的东西(谁可以读取谁的数据)。站点是隐私功能用来判断什么算作同一方的东西(谁的 Cookie 会被传送、一个嵌入内容拿到哪个罐子)。www.shopa.example 和 shopa.example 是不同的源,却是同一个站点。
回顾
- 站点就是公共后缀加上一个标签;公共后缀列表说明了后缀在哪里结束。
- 最长的列出后缀胜出,而像
github.io这样的私有后缀会让每个用户的子站点都成为它自己的站点。 - 区分协议的同站会把协议算在内,所以一个域名的
http和https版本是不同的站点。 - 源把页面彼此隔开;站点决定哪一方是哪一方。
编写四个函数,然后把它们用在 30 个练习 URL 上。
host_from_url(url):url的主机,小写,不带端口,也不带末尾的点。site_for(url, suffixes):url的站点,把集合suffixes当作公共后缀列表,并使用课程里的五条规则(最长的列出后缀加上一个标签;本身就是后缀的主机是它自己的站点;如果什么都没匹配上,最后一个标签就是后缀)。schemeful_site(url, suffixes):协议,然后是://,然后是站点,例如"https://shopa.example"。is_same_site(a, b, suffixes):当两个 URL 有相同的区分协议的站点时为True。
PRACTICE_SUFFIXES,把 SITES 设为一个列表,按顺序包含 PRACTICE_URLS 中每个 URL 的站点。自己写出逻辑:不要使用来自 watched 的 site_of 或 same_site。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。