Programma Les 105 van 156 · Netwerkvingerafdrukken
Netwerkvingerafdrukken

HTTP/2 en header fingerprints

Waarom dit ertoe doet Zelfs met een identieke TLS fingerprint verschillen de allereerste HTTP/2 berichten die een browser verzendt en de volgorde van de headers tussen browsers. Detectiesystemen gebruiken dit om te controleren of een client echt de browser is die de user agent beweert te zijn. Je zult drie gesimuleerde browsers van elkaar onderscheiden en een script betrappen dat zich voordoet als een van hen.

Twee mensen kunnen dezelfde uniform dragen en toch onderscheiden worden door hoe ze een formulier invullen: de volgorde waarin ze dingen schrijven, welke vakjes ze eerst aanvinken. HTTP/2 openings zijn een formulier dat elke browser op zijn eigen manier invult.

HTTP/2: een nieuwere versie van HTTP die browsers tegenwoordig gebruiken voor de meeste HTTPS sites, naast de nog nieuwere HTTP/3. Het verzendt requests als kleine binaire berichten genaamd frames over één verbinding, en heeft ALPN h2 nodig in de handshake.

Frame: één HTTP/2 bericht. Een SETTINGS frame kondigt limieten aan, een WINDOW_UPDATE frame zegt hoeveel data de browser klaar is om te ontvangen, en een HEADERS frame draagt de headers van een verzoek.

Wat de opening onthult

  • SETTINGS. Een lijst van (id, waarde) paren, zoals (1, 32768) voor een tabelgrootte of (4, 4194304) voor een venstergrootte. Welke instellingen verschijnen, hun waarden en hun volgorde worden gekozen door de code van de browser.
  • WINDOW_UPDATE. Eén getal: hoeveel extra data de browser bereid is te ontvangen.
  • Priority. Hoe de browser aangeeft welke verzoeken het belangrijkst zijn. Browsers doen dit verschillend.
  • Volgorde van de pseudo-header. Elke HTTP/2-aanvraag begint met vier speciale headers: :method, :authority (de site), :scheme en :path. Het protocol bepaalt hun volgorde niet, dus elke browser kiest een volgorde.
  • Header volgorde. De gewone headers, zoals user-agent en accept, komen ook in een browser-specifieke volgorde.

Eén regel om te vergelijken

A een gebruikelijke manier om dit op te schrijven is één tekstregel met vier delen gescheiden door |:

1:32768;3:250;4:4194304;6:131072|10420225|0|m,s,a,p
 settings (id:value;...)         window  prio pseudo-header initials

De initialen zijn de eerste letter na de dubbele punt: :method wordt m.

Volgorde en hoofdlettergebruik van headers: verborgen in het volle zicht

In HTTP/2 moeten header namen in kleine letters worden verzonden. In het oudere HTTP/1.1 was de hoofdlettergebruik voor de verzender, dus User-Agent versus user-agent kon zelf clients onderscheiden. Volgorde werkt in beide. In onze wereld zijn Brook en Cobalt gebouwd op dezelfde fictieve engine: hun HTTP/2 settings regel is identiek, en alleen hun header volgorde verschilt. Dus heb je beide nodig om ze uit elkaar te halen.

User agent claim: de user-agent header is gewoon tekst die de client over zichzelf schrijft. Elk programma kan dit kopiëren. De handshake en HTTP/2 details zijn moeilijker per ongeluk te vervalsen, dus vergelijken detectoren deze met de claim.

De praktijkwereld geeft je h2_connection(name, seed) voor Brook, Cobalt en Fennel, plus "Toolkit": een fictief script dat de user agent van Brook kopieert maar HTTP/2 op zijn eigen manier opent. Elke verbinding is een dict met settings, window_update, priority, pseudo_headers, headers (een lijst van (name, value) paren) en user_agent. Alle waarden zijn fictief.

Om paren te verbinden tot tekst: ";".join("%d:%d" % (k, v) for k, v in pairs). Om de naam voor de slash in "Brook/31.0" te pakken: ua.split("/")[0].

In andere talen

Het bouwen van het instellingen deel van de regel ergens anders:

// JavaScript
const settings = conn.settings.map(([k, v]) => `${k}:${v}`).join(";");
const pseudo = conn.pseudo_headers.map(h => h[1]).join(",");
const line = [settings, conn.window_update, conn.priority, pseudo].join("|");
// Go
parts := []string{}
for _, s := range conn.Settings {
    parts = append(parts, fmt.Sprintf("%d:%d", s.ID, s.Value))
}
settings := strings.Join(parts, ";")
// C#
var settings = string.Join(";", conn.Settings.Select(s => $"{s.Id}:{s.Value}"));

De verdediging

Voor gewone gebruikers is de bescherming hetzelfde als voor TLS: gebruik een veelgebruikte, actuele browser, zodat je HTTP/2 opening overeenkomt met die van miljoenen anderen. Voor websitebouwers: als je deze signalen gebruikt om fraude te bestrijden, gebruik ze dan om wrijving toe te voegen (zoals een tweede controle), nooit als bewijs van wie een persoon is, en nooit om mensen te profileren.

Samenvatting

    De HTTP/2 opening van de
  • A browser (instellingen, venstergrootte, prioriteit, pseudo-header volgorde) is een vingerafdruk.
  • Header volgorde, en in HTTP/1.1 header hoofdlettergevoeligheid, voegt meer toe.
  • Twee browsers op dezelfde engine kunnen instellingen delen en alleen verschillen in de volgorde van de header.
  • Detectoren vergelijken deze signalen met de claim van de user agent om clients te ontdekken die niet zijn wat ze zeggen.
Jij bent aan de beurt

Schrijf zes korte functies:

  1. h2_fingerprint(conn): de instellingen zoals id:value verbonden door ;, dan |, de window_update, |, de priority, |, en de initialen van de pseudo-header (het teken na de dubbele punt) verbonden door ,.
  2. header_order(conn): de header namen, in volgorde, verbonden door ,.
  3. full_fingerprint(conn): h2_fingerprint(conn) + "|" + header_order(conn).
  4. learn(training): geef vanuit een lijst van (name, conn) paren een dictionary terug die elk full_fingerprint koppelt aan zijn naam.
  5. identify(conn, known): de naam in known voor de volledige vingerafdruk van deze verbinding, of "unknown".
  6. claim_matches(conn, known): True als identify dezelfde naam geeft als de user agent beweert (de tekst voor / in conn["user_agent"]), anders False.
Het rapport onderaan is voor jou geschreven.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.