강의 계획 레슨 156개 중 105번째 · 네트워크 핑거프린트
네트워크 핑거프린트

HTTP/2와 헤더 핑거프린트

왜 중요한가 TLS 핑거프린트가 똑같아도, 브라우저가 보내는 맨 첫 HTTP/2 메시지와 헤더 순서는 브라우저마다 달라요. 탐지 시스템은 이걸로 클라이언트가 정말 사용자 에이전트가 주장하는 브라우저인지 확인해요. 시뮬레이션한 브라우저 셋을 구별하고, 그중 하나인 척하는 스크립트를 잡아낼 거예요.

두 사람이 같은 제복을 입어도 양식을 채우는 방식으로 구별할 수 있어요: 쓰는 순서, 어떤 칸을 먼저 체크하는지. HTTP/2 시작은 모든 브라우저가 자기 방식으로 채우는 양식이에요.

HTTP/2: 오늘날 브라우저가 더 새로운 HTTP/3와 함께 대부분의 HTTPS 사이트에 쓰는 HTTP의 새 판. 연결 하나로 프레임이라는 작은 이진 메시지로 요청을 보내고, 핸드셰이크에 ALPN h2가 필요해요.

프레임: HTTP/2 메시지 하나. SETTINGS 프레임은 한도를 알리고, WINDOW_UPDATE 프레임은 브라우저가 얼마나 데이터를 받을 준비가 됐는지 말하고, HEADERS 프레임은 요청의 헤더를 실어요.

시작이 드러내는 것

  • SETTINGS. 표 크기를 위한 (1, 32768)이나 창 크기를 위한 (4, 4194304) 같은 (id, value) 쌍의 리스트. 어떤 설정이 나오는지, 그 값과 순서는 브라우저의 코드가 골라요.
  • WINDOW_UPDATE. 숫자 하나: 브라우저가 기꺼이 더 받을 데이터 양.
  • 우선순위. 브라우저가 어떤 요청이 가장 중요한지 말하는 방식. 브라우저마다 다르게 해요.
  • 가짜 헤더 순서. 모든 HTTP/2 요청은 특별한 헤더 네 개로 시작해요: :method, :authority(사이트), :scheme, :path. 프로토콜이 순서를 정하지 않으니, 브라우저마다 하나를 골라요.
  • 헤더 순서. user-agent와 accept 같은 보통 헤더도 브라우저에 따른 순서로 와요.

비교할 한 줄

이걸 적는 흔한 방법은 |로 나뉜 네 부분으로 된 글 한 줄이에요:

1:32768;3:250;4:4194304;6:131072|10420225|0|m,s,a,p
 settings (id:value;...)         window  prio pseudo-header initials

머리글자는 콜론 뒤의 첫 글자예요: :method는 m이 돼요.

헤더 순서와 대소문자: 대놓고 숨기

HTTP/2에서는 헤더 이름을 소문자로 보내야 해요. 옛 HTTP/1.1에서는 대소문자가 보내는 쪽 마음이라, User-Agent 대 user-agent 자체가 클라이언트를 구별할 수 있었어요. 순서는 둘 다에서 작동해요. 우리 세계에서 Brook과 Cobalt는 같은 가상 엔진으로 만들어졌어요: HTTP/2 설정 줄은 똑같고, 헤더 순서만 달라요. 그래서 둘을 구별하려면 둘 다 필요해요.

사용자 에이전트 주장: user-agent 헤더는 클라이언트가 자기에 대해 쓰는 글일 뿐이에요. 어떤 프로그램이든 베낄 수 있어요. 핸드셰이크와 HTTP/2 세부 사항은 우연히 속이기 더 어려우니, 탐지기는 그것을 주장과 비교해요.

연습 세계는 Brook, Cobalt, Fennel, 그리고 "Toolkit"에 대한 h2_connection(name, seed)를 줘요. Toolkit은 Brook의 사용자 에이전트를 베끼지만 HTTP/2를 자기 방식으로 여는 가상 스크립트예요. 각 연결은 settings, window_update, priority, pseudo_headers, headers((name, value) 쌍의 리스트), user_agent가 있는 dict예요. 모든 값은 가상이에요.

쌍을 글로 이으려면: ";".join("%d:%d" % (k, v) for k, v in pairs). "Brook/31.0"에서 슬래시 앞의 이름을 얻으려면: ua.split("/")[0].

다른 언어로

줄의 설정 부분을 다른 곳에서 만들기:

// JavaScript
const settings = conn.settings.map(([k, v]) => `${k}:${v}`).join(";");
const pseudo = conn.pseudo_headers.map(h => h[1]).join(",");
const line = [settings, conn.window_update, conn.priority, pseudo].join("|");
// Go
parts := []string{}
for _, s := range conn.Settings {
    parts = append(parts, fmt.Sprintf("%d:%d", s.ID, s.Value))
}
settings := strings.Join(parts, ";")
// C#
var settings = string.Join(";", conn.Settings.Select(s => $"{s.Id}:{s.Value}"));

방어

보통 사용자에게 보호는 TLS와 같아요: 흔한 최신 브라우저를 써서 HTTP/2 시작이 수백만 명과 맞게 하세요. 사이트를 만드는 사람에게: 이 신호를 사기와 싸우는 데 쓴다면 마찰을 더하는 데(두 번째 확인 같은) 쓰고, 결코 사람이 누구인지 증거로 쓰지 말고, 결코 사람을 프로파일링하지 마세요.

요약

  • 브라우저의 HTTP/2 시작(설정, 창 크기, 우선순위, 가짜 헤더 순서)은 핑거프린트예요.
  • 헤더 순서, 그리고 HTTP/1.1에서는 헤더 대소문자가 더해요.
  • 같은 엔진의 두 브라우저는 설정을 나눠 갖고 헤더 순서만 다를 수 있어요.
  • 탐지기는 이 신호를 사용자 에이전트 주장과 비교해서 말하는 것과 다른 클라이언트를 찾아내요.
내 차례

짧은 함수 여섯 개를 쓰세요:

  1. h2_fingerprint(conn): 설정을 id:value로 ;로 잇고, 그다음 |, window_update, |, priority, |, 그리고 가짜 헤더 머리글자(콜론 뒤의 글자)를 ,로 이은 것.
  2. header_order(conn): 헤더 이름을 순서대로 ,로 이은 것.
  3. full_fingerprint(conn): h2_fingerprint(conn) + "|" + header_order(conn).
  4. learn(training): (name, conn) 쌍의 리스트에서 각 full_fingerprint를 그 이름에 대응시키는 dict를 돌려줘요.
  5. identify(conn, known): 이 연결의 전체 핑거프린트에 대한 known의 이름, 또는 "unknown".
  6. claim_matches(conn, known): identify가 사용자 에이전트가 주장하는 이름(conn["user_agent"]의 / 앞 글)과 같은 이름을 주면 True, 아니면 False.
아래의 보고서는 써 두었어요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.