Chương trình học Bài 105 trên tổng số 156 · Dấu vân tay mạng
Dấu vân tay mạng

Dấu vân tay HTTP/2 và header

Vì sao điều này quan trọng Ngay cả với một dấu vân tay TLS giống hệt, những thông điệp HTTP/2 đầu tiên một trình duyệt gửi, và thứ tự các header của nó, khác nhau giữa các trình duyệt. Các hệ thống phát hiện dùng điều này để kiểm tra một client có thật sự là trình duyệt mà user agent của nó tuyên bố không. Bạn sẽ phân biệt ba trình duyệt mô phỏng, và bắt được một script giả làm một trong số chúng.

Hai người có thể mặc cùng đồng phục mà vẫn phân biệt được qua cách họ điền một biểu mẫu: thứ tự họ viết, ô nào họ đánh dấu trước. Phần mở đầu HTTP/2 là một biểu mẫu mà mỗi trình duyệt điền theo cách riêng.

HTTP/2: một phiên bản HTTP mới hơn mà trình duyệt dùng cho phần lớn các trang HTTPS ngày nay, cùng với HTTP/3 còn mới hơn. Nó gửi yêu cầu dưới dạng những thông điệp nhị phân nhỏ gọi là frame qua một kết nối, và cần ALPN h2 trong cuộc bắt tay.

Frame: một thông điệp HTTP/2. Một frame SETTINGS công bố các giới hạn, một frame WINDOW_UPDATE nói trình duyệt sẵn sàng nhận bao nhiêu dữ liệu, và một frame HEADERS mang các header của một yêu cầu.

Phần mở đầu để lộ gì

  • SETTINGS. Một list các cặp (id, value), như (1, 32768) cho kích thước bảng hay (4, 4194304) cho kích thước cửa sổ. Những thiết lập nào xuất hiện, giá trị và thứ tự của chúng do mã của trình duyệt chọn.
  • WINDOW_UPDATE. Một con số: trình duyệt sẵn lòng nhận thêm bao nhiêu dữ liệu.
  • Ưu tiên. Cách trình duyệt nói yêu cầu nào quan trọng nhất. Các trình duyệt làm việc này khác nhau.
  • Thứ tự pseudo-header. Mọi yêu cầu HTTP/2 bắt đầu bằng bốn header đặc biệt: :method, :authority (trang), :scheme và :path. Giao thức không cố định thứ tự của chúng, nên mỗi trình duyệt chọn một thứ tự.
  • Thứ tự header. Các header bình thường, như user-agent và accept, cũng đến theo một thứ tự riêng của trình duyệt.

Một dòng để so sánh

Một cách phổ biến để ghi lại điều này là một dòng văn bản với bốn phần ngăn cách bằng |:

1:32768;3:250;4:4194304;6:131072|10420225|0|m,s,a,p
 settings (id:value;...)         window  prio pseudo-header initials

Các chữ cái đầu là chữ cái đầu tiên sau dấu hai chấm: :method trở thành m.

Thứ tự và kiểu chữ của header: ẩn mình giữa thanh thiên bạch nhật

Trong HTTP/2, tên header phải được gửi ở dạng chữ thường. Trong HTTP/1.1 cũ hơn, kiểu chữ tùy người gửi, nên User-Agent so với user-agent tự nó đã có thể phân biệt các client. Thứ tự hoạt động trong cả hai. Trong thế giới của ta, Brook và Cobalt được xây trên cùng một engine hư cấu: dòng thiết lập HTTP/2 của chúng giống hệt, và chỉ thứ tự header khác nhau. Nên bạn cần cả hai để phân biệt chúng.

Tuyên bố user agent: header user-agent chỉ là văn bản client viết về chính nó. Bất kỳ chương trình nào cũng có thể sao chép nó. Các chi tiết bắt tay và HTTP/2 khó giả mạo một cách vô tình hơn, nên các bộ phát hiện so sánh chúng với tuyên bố.

Thế giới luyện tập cho bạn h2_connection(name, seed) cho Brook, Cobalt và Fennel, cộng "Toolkit": một script hư cấu sao chép user agent của Brook nhưng mở HTTP/2 theo cách riêng. Mỗi kết nối là một dict với settings, window_update, priority, pseudo_headers, headers (một list các cặp (name, value)) và user_agent. Mọi giá trị đều là hư cấu.

Để nối các cặp thành văn bản: ";".join("%d:%d" % (k, v) for k, v in pairs). Để lấy cái tên trước dấu gạch chéo trong "Brook/31.0": ua.split("/")[0].

Trong các ngôn ngữ khác

Dựng phần thiết lập của dòng ở nơi khác:

// JavaScript
const settings = conn.settings.map(([k, v]) => `${k}:${v}`).join(";");
const pseudo = conn.pseudo_headers.map(h => h[1]).join(",");
const line = [settings, conn.window_update, conn.priority, pseudo].join("|");
// Go
parts := []string{}
for _, s := range conn.Settings {
    parts = append(parts, fmt.Sprintf("%d:%d", s.ID, s.Value))
}
settings := strings.Join(parts, ";")
// C#
var settings = string.Join(";", conn.Settings.Select(s => $"{s.Id}:{s.Value}"));

Cách phòng thủ

Với người dùng bình thường, sự bảo vệ cũng giống như với TLS: dùng một trình duyệt phổ biến, hiện hành, để phần mở đầu HTTP/2 của bạn khớp với hàng triệu người khác. Với người xây trang: nếu bạn dùng các tín hiệu này để chống gian lận, hãy dùng chúng để thêm ma sát (như một bước kiểm tra thứ hai), không bao giờ như bằng chứng về danh tính của một người, và không bao giờ để lập hồ sơ người dùng.

Tóm tắt

  • Phần mở đầu HTTP/2 của một trình duyệt (thiết lập, kích thước cửa sổ, ưu tiên, thứ tự pseudo-header) là một dấu vân tay.
  • Thứ tự header, và trong HTTP/1.1 là kiểu chữ của header, thêm vào nữa.
  • Hai trình duyệt trên cùng một engine có thể chung thiết lập và chỉ khác nhau ở thứ tự header.
  • Các bộ phát hiện so sánh những tín hiệu này với tuyên bố user agent để nhận ra các client không phải như chúng nói.
Đến lượt bạn

Viết sáu hàm ngắn:

  1. h2_fingerprint(conn): các thiết lập dưới dạng id:value nối bằng ;, rồi |, window_update, |, priority, |, và các chữ cái đầu của pseudo-header (ký tự sau dấu hai chấm) nối bằng ,.
  2. header_order(conn): tên các header, theo thứ tự, nối bằng ,.
  3. full_fingerprint(conn): h2_fingerprint(conn) + "|" + header_order(conn).
  4. learn(training): từ một list các cặp (name, conn), trả về một dict ánh xạ mỗi full_fingerprint tới tên của nó.
  5. identify(conn, known): tên trong known cho dấu vân tay đầy đủ của kết nối này, hoặc "unknown".
  6. claim_matches(conn, known): True nếu identify cho cùng cái tên mà user agent tuyên bố (văn bản trước / trong conn["user_agent"]), nếu không thì False.
Báo cáo ở cuối đã được viết sẵn cho bạn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.