Программа курса Урок 105 из 156 · Сетевые отпечатки
Сетевые отпечатки

Отпечатки HTTP/2 и заголовков

Почему это важно Даже при одинаковом отпечатке TLS самые первые сообщения HTTP/2, которые отправляет браузер, и порядок его заголовков различаются между браузерами. Системы обнаружения используют это, чтобы проверить, действительно ли клиент - тот браузер, за который выдаёт себя его user agent. Вы различите три смоделированных браузера и поймаете скрипт, который притворяется одним из них.

Два человека могут носить одинаковую форму, и их всё равно можно различить по тому, как они заполняют бланк: в каком порядке пишут, какие клетки отмечают первыми. Начало HTTP/2 - бланк, который каждый браузер заполняет по-своему.

HTTP/2: более новая версия HTTP, которую браузеры сегодня используют для большинства сайтов с HTTPS, наряду с ещё более новым HTTP/3. Она отправляет запросы маленькими двоичными сообщениями, называемыми кадрами, по одному соединению и требует ALPN h2 в рукопожатии.

Кадр: одно сообщение HTTP/2. Кадр SETTINGS объявляет ограничения, кадр WINDOW_UPDATE говорит, сколько данных браузер готов принять, а кадр HEADERS несёт заголовки запроса.

Что раскрывает начало

  • SETTINGS. Список пар (id, значение), например (1, 32768) для размера таблицы или (4, 4194304) для размера окна. Какие настройки появляются, их значения и порядок выбирает код браузера.
  • WINDOW_UPDATE. Одно число: сколько дополнительных данных браузер готов принять.
  • Приоритет. Как браузер сообщает, какие запросы важнее. Браузеры делают это по-разному.
  • Порядок псевдозаголовков. Каждый запрос HTTP/2 начинается с четырёх особых заголовков: :method, :authority (сайт), :scheme и :path. Протокол не фиксирует их порядок, поэтому каждый браузер выбирает свой.
  • Порядок заголовков. Обычные заголовки, например user-agent и accept, тоже идут в порядке, свойственном браузеру.

Одна строка для сравнения

Распространённый способ это записать - одна строка текста из четырёх частей, разделённых |:

1:32768;3:250;4:4194304;6:131072|10420225|0|m,s,a,p
 settings (id:value;...)         window  prio pseudo-header initials

Инициалы - это первая буква после двоеточия: :method становится m.

Порядок и регистр заголовков: прятаться на виду

В HTTP/2 имена заголовков должны отправляться в нижнем регистре. В более старом HTTP/1.1 регистр оставался на усмотрение отправителя, поэтому User-Agent против user-agent сам по себе мог различать клиентов. Порядок работает в обоих. В нашем мире Brook и Cobalt построены на одном вымышленном движке: их строка настроек HTTP/2 одинакова, и различается только порядок заголовков. Поэтому, чтобы их различить, нужно и то и другое.

Заявление user agent: заголовок user-agent - просто текст, который клиент пишет о себе. Любая программа может его скопировать. Подробности рукопожатия и HTTP/2 случайно подделать труднее, поэтому детекторы сравнивают их с заявлением.

Учебный мир даёт вам h2_connection(name, seed) для Brook, Cobalt и Fennel плюс "Toolkit": вымышленный скрипт, который копирует user agent Brook, но начинает HTTP/2 по-своему. Каждое соединение - словарь с settings, window_update, priority, pseudo_headers, headers (список пар (name, value)) и user_agent. Все значения вымышлены.

Чтобы соединить пары в текст: ";".join("%d:%d" % (k, v) for k, v in pairs). Чтобы взять имя до косой черты в "Brook/31.0": ua.split("/")[0].

На других языках

Построение части строки с настройками в других местах:

// JavaScript
const settings = conn.settings.map(([k, v]) => `${k}:${v}`).join(";");
const pseudo = conn.pseudo_headers.map(h => h[1]).join(",");
const line = [settings, conn.window_update, conn.priority, pseudo].join("|");
// Go
parts := []string{}
for _, s := range conn.Settings {
    parts = append(parts, fmt.Sprintf("%d:%d", s.ID, s.Value))
}
settings := strings.Join(parts, ";")
// C#
var settings = string.Join(";", conn.Settings.Select(s => $"{s.Id}:{s.Value}"));

Защита

Для обычных пользователей защита та же, что и для TLS: пользуйтесь распространённым актуальным браузером, чтобы ваше начало HTTP/2 совпадало с миллионами других. Для разработчиков сайтов: если вы используете эти сигналы против мошенничества, используйте их, чтобы добавить трения (например, вторую проверку), но никогда как доказательство личности и никогда для профилирования людей.

Итоги

  • Начало HTTP/2 у браузера (настройки, размер окна, приоритет, порядок псевдозаголовков) - это отпечаток.
  • Порядок заголовков, а в HTTP/1.1 и их регистр, добавляют ещё.
  • Два браузера на одном движке могут иметь одинаковые настройки и различаться только порядком заголовков.
  • Детекторы сравнивают эти сигналы с заявлением user agent, чтобы замечать клиентов, которые не те, за кого себя выдают.
Твоя очередь

Напишите шесть коротких функций:

  1. h2_fingerprint(conn): настройки как id:value через ;, затем |, window_update, |, priority, | и инициалы псевдозаголовков (символ после двоеточия) через ,.
  2. header_order(conn): имена заголовков по порядку через ,.
  3. full_fingerprint(conn): h2_fingerprint(conn) + "|" + header_order(conn).
  4. learn(training): по списку пар (name, conn) верните словарь, сопоставляющий каждый full_fingerprint его имени.
  5. identify(conn, known): имя в known для полного отпечатка этого соединения или "unknown".
  6. claim_matches(conn, known): True, если identify даёт то же имя, что заявляет user agent (текст до / в conn["user_agent"]), иначе False.
Отчёт внизу написан за вас.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.