HTTP/2 とヘッダーの指紋
なぜ大切か TLS の指紋がまったく同じでも、ブラウザが送る最初の HTTP/2 メッセージと、ヘッダーの順番はブラウザによって違います。検出システムはこれを使って、クライアントが本当にユーザーエージェントの名乗るブラウザなのかを確かめます。シミュレーションした 3 つのブラウザを見分け、そのひとつになりすますスクリプトを捕まえます。
2 人が同じ制服を着ていても、書類の書き方で見分けられることがあります。書く順番や、どの欄に最初に印を付けるか。HTTP/2 の始まりは、どのブラウザも自分なりのやり方で書き込む書類なのです。
HTTP/2:今日、ブラウザがほとんどの HTTPS サイトで、さらに新しい HTTP/3 と並んで使っている、新しめの HTTP のバージョンです。リクエストを、フレームと呼ばれる小さなバイナリのメッセージとしてひとつの接続で送り、ハンドシェイクで ALPN h2 を必要とします。
フレーム:HTTP/2 のメッセージひとつです。SETTINGS フレームは上限を知らせ、WINDOW_UPDATE フレームはブラウザがどれだけのデータを受け取る用意があるかを伝え、HEADERS フレームはリクエストのヘッダーを運びます。
始まりが明かすもの
- SETTINGS。 テーブルの大きさなら
(1, 32768)、ウィンドウの大きさなら(4, 4194304)のような (id, value) の組のリストです。どの設定が現れるか、その値と順番は、ブラウザのコードが選びます。 - WINDOW_UPDATE。 ひとつの数で、ブラウザが追加でどれだけのデータを受け取るつもりかを表します。
- 優先度。 どのリクエストが最も重要かをブラウザがどう伝えるか。ブラウザによってやり方が違います。
- 疑似ヘッダーの順番。 どの HTTP/2 のリクエストも、4 つの特別なヘッダー
:method、:authority(サイト)、:scheme、:pathで始まります。プロトコルはその順番を決めていないので、ブラウザがそれぞれ選びます。 - ヘッダーの順番。
user-agentやacceptのようなふつうのヘッダーも、ブラウザ固有の順番で来ます。
比べるための 1 行
これを書き留めるよくある方法は、| で区切った 4 つの部分を持つ 1 行のテキストです:
1:32768;3:250;4:4194304;6:131072|10420225|0|m,s,a,p
settings (id:value;...) window prio pseudo-header initials頭文字はコロンの後の最初の文字です。:method は m になります。
ヘッダーの順番と大文字小文字:目の前に隠れているもの
HTTP/2 では、ヘッダー名は小文字で送らなければなりません。古い HTTP/1.1 では大文字小文字は送り手しだいだったので、User-Agent か user-agent か自体がクライアントを見分ける手がかりになりえました。順番はどちらでも使えます。私たちの世界では、Brook と Cobalt は同じ架空のエンジンで作られています。HTTP/2 の設定の行はまったく同じで、違うのはヘッダーの順番だけです。だから見分けるには両方が必要です。
ユーザーエージェントの名乗り:user-agent ヘッダーは、クライアントが自分について書くただのテキストです。どんなプログラムでもそれをまねできます。ハンドシェイクや HTTP/2 の細部は、うっかりではなかなか偽れないので、検出器はそれらを名乗りと比べます。
練習用の世界は、Brook、Cobalt、Fennel について h2_connection(name, seed) を用意しています。さらに "Toolkit" もあります。Brook のユーザーエージェントをまねしながら、HTTP/2 を自分のやり方で始める架空のスクリプトです。各接続は settings、window_update、priority、pseudo_headers、headers((name, value) の組のリスト)、user_agent を持つ辞書です。値はすべて架空です。
組をテキストにつなぐには:";".join("%d:%d" % (k, v) for k, v in pairs)。"Brook/31.0" からスラッシュの前の名前を取るには:ua.split("/")[0]。
ほかの言語では
ほかの言語で行の設定の部分を作るには:
// JavaScript
const settings = conn.settings.map(([k, v]) => `${k}:${v}`).join(";");
const pseudo = conn.pseudo_headers.map(h => h[1]).join(",");
const line = [settings, conn.window_update, conn.priority, pseudo].join("|");// Go
parts := []string{}
for _, s := range conn.Settings {
parts = append(parts, fmt.Sprintf("%d:%d", s.ID, s.Value))
}
settings := strings.Join(parts, ";")// C#
var settings = string.Join(";", conn.Settings.Select(s => $"{s.Id}:{s.Value}"));防御
ふつうのユーザーにとって、守りは TLS と同じです。ありふれた最新のブラウザを使い、HTTP/2 の始まりが何百万人もの人と一致するようにします。サイトを作る人へ:不正対策にこれらの信号を使うなら、手間を加える(2 回目の確認のような)ために使い、決して人が誰かの証拠としては使わず、決して人を分析するのに使わないでください。
まとめ
- ブラウザの HTTP/2 の始まり(設定、ウィンドウの大きさ、優先度、疑似ヘッダーの順番)は指紋です。
- ヘッダーの順番、そして HTTP/1.1 ではヘッダーの大文字小文字が、さらに情報を加えます。
- 同じエンジンの 2 つのブラウザは、設定を共有し、ヘッダーの順番だけが違うことがあります。
- 検出器はこれらの信号をユーザーエージェントの名乗りと比べ、名乗りどおりでないクライアントを見つけます。
6 つの短い関数を書いてください:
h2_fingerprint(conn):設定をid:valueにして;でつないだもの、次に|、window_update、|、priority、|、そして疑似ヘッダーの頭文字(コロンの後の文字)を,でつないだもの。header_order(conn):ヘッダー名を順に,でつないだもの。full_fingerprint(conn):h2_fingerprint(conn) + "|" + header_order(conn)。learn(training):(name, conn)の組のリストから、各full_fingerprintをその名前に対応づける辞書を返します。identify(conn, known):この接続の完全な指紋についてknownにある名前、または"unknown"。claim_matches(conn, known):identifyがユーザーエージェントの名乗り(conn["user_agent"]の/より前のテキスト)と同じ名前を返せばTrue、そうでなければFalse。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。