课程大纲 第 114 课,共 156 课 · 浏览器是怎样做决定的
浏览器是怎样做决定的

站点、源与“同站”

为什么重要 浏览器内部的每一条隐私规则,都从一个问题开始:“这是哪个站点?”Cookie、分区、SameSite、跟踪器列表和跳转检测,都会把东西归档到一个站点下面。如果一个引擎把这个答案弄错了,一个跟踪者就可能溜进两个罐子之间,或者两个陌生人的博客最终会共用一个罐子。在这一课里,你要亲手写出这个答案。

想想一栋公寓楼。街道地址(example)是每个人共用的,所以它完全说明不了谁住在哪里。门牌号加上街道(shopa.example)是一户人家。公寓里的各个房间(cdn.shopa.example、www.shopa.example)都属于同一户人家。浏览器想要的是那一户人家。

你需要的三个词

主机:URL 中名字的那一部分,比如 https://cdn.shopa.example:8443/lib.js 中的 cdn.shopa.example。它由用点分隔的标签组成:cdn、shopa、example。

源:协议、主机和端口合在一起,比如 https://cdn.shopa.example:8443。它是最严格的边界:https://www.shopa.example 和 https://shopa.example 是不同的源。

站点:主机中由一个所有者注册的那部分,也叫作可注册域名:对上面所有的主机来说都是 shopa.example。像分区和 SameSite 这样的隐私功能是以站点为单位工作的,因为一个所有者无论如何都控制着它下面的每一个主机。

公共后缀列表

“取最后两个标签”对 shopa.example 有效,但对 practice-shop.co.uk 就不行了:最后两个标签是 co.uk,而成千上万家互不相关的公司共用它。所以浏览器会携带一份公共后缀列表,这是一个长长的文件,列出那些任何人都可以在其下注册名字的结尾。

公共后缀:一个没有人整体拥有的结尾,比如 com、co.uk 或 github.io。站点就是公共后缀再加上它左边的一个标签。

这份列表还包含由托管服务加入的“私有”后缀。github.io 就在上面,所以 alice.github.io 和 bob.github.io 是两个不同的站点,即使服务器是由同一家公司运营的。如果没有这一条,Alice 的博客就可以设置一个被 Bob 的博客收到的 Cookie。在我们的练习世界里,pages.example 扮演同样的角色。

浏览器应用的规则是:

  1. 把主机转成小写,去掉端口,并去掉末尾的点(shopa.example. 是 shopa.example 的一种合法写法)。
  2. 找出主机在列表上的最长结尾。对于 a.b.practice-charity.org.uk,uk 和 org.uk 都在列表上;org.uk 胜出。
  3. 站点就是那个结尾再加上它左边的一个标签。
  4. 如果主机本身就是一个公共后缀(比如单独的 github.io),那么站点就是主机本身。
  5. 如果完全没有任何列出的结尾匹配,就把最后一个标签当作后缀。所以 dev.app.zz 的站点是 app.zz。

真实的列表还有少数通配符和例外规则,而一个 IP 地址就是它自己的站点。引擎也会处理这些;在这里你可以把它们省略掉。

区分协议的同站

较老的浏览器只比较可注册域名,所以 http://shopa.example 和 https://shopa.example 是“同站”。如今的网络标准把同站定义为区分协议的:协议是站点的一部分,所以普通 http 的页面算作另一个不可信的站点。这很重要,因为你咖啡馆 Wi-Fi 上的任何人都能篡改一个 http 页面,而它不应该能借用 https 站点的 SameSite Cookie。

AB同源吗?同站吗?
https://www.shopa.examplehttps://shopa.example否是
https://alice.github.iohttps://bob.github.io否否
http://shopa.examplehttps://shopa.example否否(区分协议)
https://shopa.example:8443https://shopa.example否是(端口不算)

你需要的 Python

除了变量、if、列表和函数之外,你还需要四个小工具。每一个都在这里展示,并附上它打印出的内容。

from urllib.parse import urlsplit       # part of Python's standard library

parts = urlsplit("https://CDN.ShopA.example:8443/lib.js")
print(parts.scheme)      # https
print(parts.hostname)    # cdn.shopa.example   (already lower case, port removed)

labels = "cdn.shopa.example".split(".")   # cut a string at every dot
print(labels)            # ['cdn', 'shopa', 'example']
print(labels[1:])        # ['shopa', 'example']   (a slice: from position 1 to the end)
print(".".join(labels[1:]))   # shopa.example     (glue a list back together with dots)

print("shopa.example.".rstrip("."))   # shopa.example   (remove dots from the right end)
print("co.uk" in {"co.uk", "uk"})     # True   (a set answers "is this in it?" quickly)

for i in range(3):       # i takes the values 0, 1, 2
    print(i)

一个巧妙的诀窍:如果你从最长的结尾(labels[0:])到最短的依次尝试,那么你在列表上找到的第一个结尾,自然就是最长的匹配。

试一试 在写代码之前,先手工算出三个:www.alice.pages.example、news.practice-paper.co.uk 和 zz。你应该得到 alice.pages.example、practice-paper.co.uk 和 zz。

用其他语言实现

真实的项目会使用一份有人维护的公共后缀列表副本,而不是自己写一份:

// JavaScript (the tldts package)
import { getDomain } from "tldts";
getDomain("https://cdn.shopa.co.uk/lib.js");   // "shopa.co.uk"
getDomain("alice.github.io", { allowPrivateDomains: true });   // "alice.github.io" (private suffixes are off by default)
new URL("https://CDN.ShopA.example:8443/").hostname;   // "cdn.shopa.example"

// Go (golang.org/x/net/publicsuffix)
site, err := publicsuffix.EffectiveTLDPlusOne("alice.github.io")   // "alice.github.io", nil

// Rust (the psl crate)
let site = psl::domain_str("www.shopa.co.uk");   // Some("shopa.co.uk")

// C# (built in: host only; use a public-suffix package such as Nager.PublicSuffix for the site)
var host = new Uri("https://CDN.ShopA.example:8443/").Host;   // "cdn.shopa.example"

一个常见的误解

“同站就是同源,只是措辞更宽松一些。”它们是不同的边界。源是 JavaScript 用来把页面彼此隔开的东西(谁可以读取谁的数据)。站点是隐私功能用来判断什么算作同一方的东西(谁的 Cookie 会被传送、一个嵌入内容拿到哪个罐子)。www.shopa.example 和 shopa.example 是不同的源,却是同一个站点。

回顾

  • 站点就是公共后缀加上一个标签;公共后缀列表说明了后缀在哪里结束。
  • 最长的列出后缀胜出,而像 github.io 这样的私有后缀会让每个用户的子站点都成为它自己的站点。
  • 区分协议的同站会把协议算在内,所以一个域名的 http 和 https 版本是不同的站点。
  • 源把页面彼此隔开;站点决定哪一方是哪一方。
轮到你了

编写四个函数,然后把它们用在 30 个练习 URL 上。

  1. host_from_url(url):url 的主机,小写,不带端口,也不带末尾的点。
  2. site_for(url, suffixes):url 的站点,把集合 suffixes 当作公共后缀列表,并使用课程里的五条规则(最长的列出后缀加上一个标签;本身就是后缀的主机是它自己的站点;如果什么都没匹配上,最后一个标签就是后缀)。
  3. schemeful_site(url, suffixes):协议,然后是 ://,然后是站点,例如 "https://shopa.example"。
  4. is_same_site(a, b, suffixes):当两个 URL 有相同的区分协议的站点时为 True。
最后,使用 PRACTICE_SUFFIXES,把 SITES 设为一个列表,按顺序包含 PRACTICE_URLS 中每个 URL 的站点。自己写出逻辑:不要使用来自 watched 的 site_of 或 same_site。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。