HTTP/2와 헤더 핑거프린트
왜 중요한가 TLS 핑거프린트가 똑같아도, 브라우저가 보내는 맨 첫 HTTP/2 메시지와 헤더 순서는 브라우저마다 달라요. 탐지 시스템은 이걸로 클라이언트가 정말 사용자 에이전트가 주장하는 브라우저인지 확인해요. 시뮬레이션한 브라우저 셋을 구별하고, 그중 하나인 척하는 스크립트를 잡아낼 거예요.
두 사람이 같은 제복을 입어도 양식을 채우는 방식으로 구별할 수 있어요: 쓰는 순서, 어떤 칸을 먼저 체크하는지. HTTP/2 시작은 모든 브라우저가 자기 방식으로 채우는 양식이에요.
HTTP/2: 오늘날 브라우저가 더 새로운 HTTP/3와 함께 대부분의 HTTPS 사이트에 쓰는 HTTP의 새 판. 연결 하나로 프레임이라는 작은 이진 메시지로 요청을 보내고, 핸드셰이크에 ALPN h2가 필요해요.
프레임: HTTP/2 메시지 하나. SETTINGS 프레임은 한도를 알리고, WINDOW_UPDATE 프레임은 브라우저가 얼마나 데이터를 받을 준비가 됐는지 말하고, HEADERS 프레임은 요청의 헤더를 실어요.
시작이 드러내는 것
- SETTINGS. 표 크기를 위한
(1, 32768)이나 창 크기를 위한(4, 4194304)같은 (id, value) 쌍의 리스트. 어떤 설정이 나오는지, 그 값과 순서는 브라우저의 코드가 골라요. - WINDOW_UPDATE. 숫자 하나: 브라우저가 기꺼이 더 받을 데이터 양.
- 우선순위. 브라우저가 어떤 요청이 가장 중요한지 말하는 방식. 브라우저마다 다르게 해요.
- 가짜 헤더 순서. 모든 HTTP/2 요청은 특별한 헤더 네 개로 시작해요:
:method,:authority(사이트),:scheme,:path. 프로토콜이 순서를 정하지 않으니, 브라우저마다 하나를 골라요. - 헤더 순서.
user-agent와accept같은 보통 헤더도 브라우저에 따른 순서로 와요.
비교할 한 줄
이걸 적는 흔한 방법은 |로 나뉜 네 부분으로 된 글 한 줄이에요:
1:32768;3:250;4:4194304;6:131072|10420225|0|m,s,a,p
settings (id:value;...) window prio pseudo-header initials머리글자는 콜론 뒤의 첫 글자예요: :method는 m이 돼요.
헤더 순서와 대소문자: 대놓고 숨기
HTTP/2에서는 헤더 이름을 소문자로 보내야 해요. 옛 HTTP/1.1에서는 대소문자가 보내는 쪽 마음이라, User-Agent 대 user-agent 자체가 클라이언트를 구별할 수 있었어요. 순서는 둘 다에서 작동해요. 우리 세계에서 Brook과 Cobalt는 같은 가상 엔진으로 만들어졌어요: HTTP/2 설정 줄은 똑같고, 헤더 순서만 달라요. 그래서 둘을 구별하려면 둘 다 필요해요.
사용자 에이전트 주장: user-agent 헤더는 클라이언트가 자기에 대해 쓰는 글일 뿐이에요. 어떤 프로그램이든 베낄 수 있어요. 핸드셰이크와 HTTP/2 세부 사항은 우연히 속이기 더 어려우니, 탐지기는 그것을 주장과 비교해요.
연습 세계는 Brook, Cobalt, Fennel, 그리고 "Toolkit"에 대한 h2_connection(name, seed)를 줘요. Toolkit은 Brook의 사용자 에이전트를 베끼지만 HTTP/2를 자기 방식으로 여는 가상 스크립트예요. 각 연결은 settings, window_update, priority, pseudo_headers, headers((name, value) 쌍의 리스트), user_agent가 있는 dict예요. 모든 값은 가상이에요.
쌍을 글로 이으려면: ";".join("%d:%d" % (k, v) for k, v in pairs). "Brook/31.0"에서 슬래시 앞의 이름을 얻으려면: ua.split("/")[0].
다른 언어로
줄의 설정 부분을 다른 곳에서 만들기:
// JavaScript
const settings = conn.settings.map(([k, v]) => `${k}:${v}`).join(";");
const pseudo = conn.pseudo_headers.map(h => h[1]).join(",");
const line = [settings, conn.window_update, conn.priority, pseudo].join("|");// Go
parts := []string{}
for _, s := range conn.Settings {
parts = append(parts, fmt.Sprintf("%d:%d", s.ID, s.Value))
}
settings := strings.Join(parts, ";")// C#
var settings = string.Join(";", conn.Settings.Select(s => $"{s.Id}:{s.Value}"));방어
보통 사용자에게 보호는 TLS와 같아요: 흔한 최신 브라우저를 써서 HTTP/2 시작이 수백만 명과 맞게 하세요. 사이트를 만드는 사람에게: 이 신호를 사기와 싸우는 데 쓴다면 마찰을 더하는 데(두 번째 확인 같은) 쓰고, 결코 사람이 누구인지 증거로 쓰지 말고, 결코 사람을 프로파일링하지 마세요.
요약
- 브라우저의 HTTP/2 시작(설정, 창 크기, 우선순위, 가짜 헤더 순서)은 핑거프린트예요.
- 헤더 순서, 그리고 HTTP/1.1에서는 헤더 대소문자가 더해요.
- 같은 엔진의 두 브라우저는 설정을 나눠 갖고 헤더 순서만 다를 수 있어요.
- 탐지기는 이 신호를 사용자 에이전트 주장과 비교해서 말하는 것과 다른 클라이언트를 찾아내요.
짧은 함수 여섯 개를 쓰세요:
h2_fingerprint(conn): 설정을id:value로;로 잇고, 그다음|,window_update,|,priority,|, 그리고 가짜 헤더 머리글자(콜론 뒤의 글자)를,로 이은 것.header_order(conn): 헤더 이름을 순서대로,로 이은 것.full_fingerprint(conn):h2_fingerprint(conn) + "|" + header_order(conn).learn(training):(name, conn)쌍의 리스트에서 각full_fingerprint를 그 이름에 대응시키는 dict를 돌려줘요.identify(conn, known): 이 연결의 전체 핑거프린트에 대한known의 이름, 또는"unknown".claim_matches(conn, known):identify가 사용자 에이전트가 주장하는 이름(conn["user_agent"]의/앞 글)과 같은 이름을 주면True, 아니면False.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.