シラバス レッスン 156 中 105 · ネットワークの指紋
ネットワークの指紋

HTTP/2 とヘッダーの指紋

なぜ大切か TLS の指紋がまったく同じでも、ブラウザが送る最初の HTTP/2 メッセージと、ヘッダーの順番はブラウザによって違います。検出システムはこれを使って、クライアントが本当にユーザーエージェントの名乗るブラウザなのかを確かめます。シミュレーションした 3 つのブラウザを見分け、そのひとつになりすますスクリプトを捕まえます。

2 人が同じ制服を着ていても、書類の書き方で見分けられることがあります。書く順番や、どの欄に最初に印を付けるか。HTTP/2 の始まりは、どのブラウザも自分なりのやり方で書き込む書類なのです。

HTTP/2:今日、ブラウザがほとんどの HTTPS サイトで、さらに新しい HTTP/3 と並んで使っている、新しめの HTTP のバージョンです。リクエストを、フレームと呼ばれる小さなバイナリのメッセージとしてひとつの接続で送り、ハンドシェイクで ALPN h2 を必要とします。

フレーム:HTTP/2 のメッセージひとつです。SETTINGS フレームは上限を知らせ、WINDOW_UPDATE フレームはブラウザがどれだけのデータを受け取る用意があるかを伝え、HEADERS フレームはリクエストのヘッダーを運びます。

始まりが明かすもの

  • SETTINGS。 テーブルの大きさなら (1, 32768)、ウィンドウの大きさなら (4, 4194304) のような (id, value) の組のリストです。どの設定が現れるか、その値と順番は、ブラウザのコードが選びます。
  • WINDOW_UPDATE。 ひとつの数で、ブラウザが追加でどれだけのデータを受け取るつもりかを表します。
  • 優先度。 どのリクエストが最も重要かをブラウザがどう伝えるか。ブラウザによってやり方が違います。
  • 疑似ヘッダーの順番。 どの HTTP/2 のリクエストも、4 つの特別なヘッダー :method、:authority(サイト)、:scheme、:path で始まります。プロトコルはその順番を決めていないので、ブラウザがそれぞれ選びます。
  • ヘッダーの順番。 user-agent や accept のようなふつうのヘッダーも、ブラウザ固有の順番で来ます。

比べるための 1 行

これを書き留めるよくある方法は、| で区切った 4 つの部分を持つ 1 行のテキストです:

1:32768;3:250;4:4194304;6:131072|10420225|0|m,s,a,p
 settings (id:value;...)         window  prio pseudo-header initials

頭文字はコロンの後の最初の文字です。:method は m になります。

ヘッダーの順番と大文字小文字:目の前に隠れているもの

HTTP/2 では、ヘッダー名は小文字で送らなければなりません。古い HTTP/1.1 では大文字小文字は送り手しだいだったので、User-Agent か user-agent か自体がクライアントを見分ける手がかりになりえました。順番はどちらでも使えます。私たちの世界では、Brook と Cobalt は同じ架空のエンジンで作られています。HTTP/2 の設定の行はまったく同じで、違うのはヘッダーの順番だけです。だから見分けるには両方が必要です。

ユーザーエージェントの名乗り:user-agent ヘッダーは、クライアントが自分について書くただのテキストです。どんなプログラムでもそれをまねできます。ハンドシェイクや HTTP/2 の細部は、うっかりではなかなか偽れないので、検出器はそれらを名乗りと比べます。

練習用の世界は、Brook、Cobalt、Fennel について h2_connection(name, seed) を用意しています。さらに "Toolkit" もあります。Brook のユーザーエージェントをまねしながら、HTTP/2 を自分のやり方で始める架空のスクリプトです。各接続は settings、window_update、priority、pseudo_headers、headers((name, value) の組のリスト)、user_agent を持つ辞書です。値はすべて架空です。

組をテキストにつなぐには:";".join("%d:%d" % (k, v) for k, v in pairs)。"Brook/31.0" からスラッシュの前の名前を取るには:ua.split("/")[0]。

ほかの言語では

ほかの言語で行の設定の部分を作るには:

// JavaScript
const settings = conn.settings.map(([k, v]) => `${k}:${v}`).join(";");
const pseudo = conn.pseudo_headers.map(h => h[1]).join(",");
const line = [settings, conn.window_update, conn.priority, pseudo].join("|");
// Go
parts := []string{}
for _, s := range conn.Settings {
    parts = append(parts, fmt.Sprintf("%d:%d", s.ID, s.Value))
}
settings := strings.Join(parts, ";")
// C#
var settings = string.Join(";", conn.Settings.Select(s => $"{s.Id}:{s.Value}"));

防御

ふつうのユーザーにとって、守りは TLS と同じです。ありふれた最新のブラウザを使い、HTTP/2 の始まりが何百万人もの人と一致するようにします。サイトを作る人へ:不正対策にこれらの信号を使うなら、手間を加える(2 回目の確認のような)ために使い、決して人が誰かの証拠としては使わず、決して人を分析するのに使わないでください。

まとめ

  • ブラウザの HTTP/2 の始まり(設定、ウィンドウの大きさ、優先度、疑似ヘッダーの順番)は指紋です。
  • ヘッダーの順番、そして HTTP/1.1 ではヘッダーの大文字小文字が、さらに情報を加えます。
  • 同じエンジンの 2 つのブラウザは、設定を共有し、ヘッダーの順番だけが違うことがあります。
  • 検出器はこれらの信号をユーザーエージェントの名乗りと比べ、名乗りどおりでないクライアントを見つけます。
あなたの番

6 つの短い関数を書いてください:

  1. h2_fingerprint(conn):設定を id:value にして ; でつないだもの、次に |、window_update、|、priority、|、そして疑似ヘッダーの頭文字(コロンの後の文字)を , でつないだもの。
  2. header_order(conn):ヘッダー名を順に , でつないだもの。
  3. full_fingerprint(conn):h2_fingerprint(conn) + "|" + header_order(conn)。
  4. learn(training):(name, conn) の組のリストから、各 full_fingerprint をその名前に対応づける辞書を返します。
  5. identify(conn, known):この接続の完全な指紋について known にある名前、または "unknown"。
  6. claim_matches(conn, known):identify がユーザーエージェントの名乗り(conn["user_agent"] の / より前のテキスト)と同じ名前を返せば True、そうでなければ False。
下の報告はすでに書いてあります。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。