课程大纲 第 33 课,共 156 课 · 从内部看 HTTP
从内部看 HTTP

解析一个原始的 HTTP 请求

为什么重要 你加载的每一个页面,都是从你的浏览器发给服务器的一小段文本开始的,而大部分跟踪信息就是通过这段文本传送的:你的 Cookie、你来自的页面、你的语言。一旦你能读懂它,它的一切对你来说都不再是隐藏的,而这个阶段里的每一样工具(跟踪器、拦截器、各种测量)都是建立在它之上的。

把一个 HTTP 请求想象成一封格式非常严格的信。第一行说明你想要什么,然后是写在信封上的一些带标签的说明,然后是一个空行,然后(有时)是内容。响应就是回信,格式相同。你的浏览器每天要写和读成千上万封这样的信。

HTTP:超文本传输协议(HyperText Transfer Protocol),浏览器和服务器用来索取和发送页面、图片和数据的约定格式。

请求:浏览器发送的消息:一个方法(要做什么,比如用 GET 获取或用 POST 发送一个表单)、一个目标(服务器上的哪个路径)和一个版本。

请求头:消息中一条带标签的说明,单独占一行,写成 Name: value,比如 Accept-Language: en-GB。

一个原始的请求是什么样子的

下面是练习浏览器为 ShopA 的帐篷页面发送的一个请求。每一行都以两个看不见的字符结尾,回车和换行,在 Python 里写作 \r\n。一个空行(也就是连续的 \r\n\r\n)标志着头部的结束。

GET /p/tent HTTP/1.1
Host: shopa.example
User-Agent: PracticeBrowser/1.0 (Linux) Practice Firefox 144
Accept-Language: en-ZA
Sec-Fetch-Site: none
Sec-Fetch-Mode: navigate
Sec-Fetch-Dest: document
  • 请求行:GET /p/tent HTTP/1.1,三个部分,用单个空格分隔。
  • 请求头:每行一个,名字、一个冒号,然后是值。
  • 空行:头部结束了。
  • 正文:后面跟着的任何东西。一个 GET 通常没有正文;一个表单 POST 会携带表单字段,比如 user=sam。

响应的形状相同,但它的第一行是一个状态行:HTTP/1.1 200 OK。中间的部分是状态码(200 表示一切正常,302 表示“去别处”,404 表示“没找到”),其余的是原因短语,一个给人看的标签,它可以包含空格(Moved Permanently),也可以完全没有。

状态码:响应开头的一个三位数字,说明情况如何。2xx 表示成功,3xx 表示重定向,4xx 表示请求有问题,5xx 表示服务器出了问题。

你需要的三个 Python 工具

text.partition(sep) 在第一个 sep 处切分,并返回三块:前面的部分、分隔符、后面的部分。text.split(sep, 2) 最多切分两次,所以一个带空格的原因短语会保持为一整块。text.strip() 去掉两端的空格。

"Referer: https://shopa.example/".partition(":")
# ('Referer', ':', ' https://shopa.example/')
"HTTP/1.1 301 Moved Permanently".split(" ", 2)
# ['HTTP/1.1', '301', 'Moved Permanently']

一个常见的错误

在每一个冒号处切分一行请求头。Referer: https://shopa.example/ 的值里面有一个冒号,所以 line.split(":") 会把地址切成两半。永远只在第一个冒号处切分。真正的浏览器是吃过苦头才学到这一点的:草率的解析器是安全漏洞的一个经典来源,因为两个程序会把同一条消息读成不同的样子。

真实的网络现在还是这个样子吗?

大体上是这样的。如今浏览器通常使用 HTTP/2 或 HTTP/3,它们把同样的方法、请求头和正文打包进二进制帧里发送,而不是文本行。DevTools 无论如何都会把它们以文本形式展示给你,所以你在这里学到的字段,正是你会在那里看到的那些(2026 年 10 月核实)。练习世界把一切都写成 HTTP/1.1 文本,这仍然是许多服务器和工具在使用的格式。

试一试 打开 DevTools(F12,在 Mac 上按 Cmd+Option+I),选择 Network 标签页,然后重新加载任何一个页面。点击第一个请求,看看 Request Headers。许多浏览器提供一个“Raw”开关,可以准确地以这种格式显示头部。

用其他语言实现

JavaScript:

function parseRequest(raw) {
  const [head, ...rest] = raw.split("\r\n\r\n");
  const lines = head.split("\r\n");
  const [method, target, version] = lines[0].split(" ");
  const headers = lines.slice(1).map(line => {
    const i = line.indexOf(":");            // first colon only
    return [line.slice(0, i).trim(), line.slice(i + 1).trim()];
  });
  return { method, target, version, headers, body: rest.join("\r\n\r\n") };
}

Go:

// the standard library has a real parser: net/http.ReadRequest
req, err := http.ReadRequest(bufio.NewReader(strings.NewReader(raw)))
if err == nil {
    fmt.Println(req.Method, req.URL.Path, req.Header.Get("User-Agent"))
}

Rust:

let (head, body) = raw.split_once("\r\n\r\n").unwrap_or((raw, ""));
let mut lines = head.split("\r\n");
let mut first = lines.next().unwrap().splitn(3, ' ');
let (method, target) = (first.next(), first.next());
let headers: Vec<(&str, &str)> = lines
    .filter_map(|l| l.split_once(':'))
    .map(|(n, v)| (n.trim(), v.trim()))
    .collect();

回顾

  • 请求由一个请求行、请求头、一个空行和一个可选的正文组成;响应则以一个状态行开始。
  • 在第一个 \r\n\r\n 处把头部和正文分开,并在每一行请求头的第一个冒号处切分它。
  • 原因短语可以包含空格,也可以没有,所以状态行最多只切分两次。
  • HTTP/2 和 HTTP/3 以二进制形式携带同样的字段,所以这幅画面仍然成立。
轮到你了

编写 parse_request(raw),返回一个字典,包含 "method"、"target"(路径加上查询)、"version"、"headers"(一个按顺序排列的 (name, value) 对列表,在第一个冒号处切分,两者都去掉首尾空格)以及 "body"(第一个空行之后的一切,没有就是 "")。然后编写 parse_response(raw),以同样的方式返回 "version"、"status"(一个 int)、"reason"(没有就是 "")、"headers" 和 "body"。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。