Lehrplan Lektion 109 von 156 · Apps und Geräte
Apps und Geräte

Prüfe eine Übungs-App

Warum das wichtig istEine Traffic-Capture ist eine lange, unordentliche Liste. Die Fähigkeit, sie in etwas Nützliches zu verwandeln, ist einfach: ziehe jedes Feld heraus und sortiere sie dann in "wer hat es erhalten" und "was war es". Du wirst dieses Audit für eine Übungs-Fitness-App schreiben, und dieselbe Idee funktioniert bei jedem Request-Log, den du lesen darfst.

Die Praxis der Erfassung

Unsere Übungs-App ist FitFox, ein fiktiver Schrittzähler, dessen eigene Seite fitfox.example ist. Ihre Erfassung ist eine Python list. Jeder Eintrag ist eine Anfrage, so wie ein Interception Proxy sie protokollieren würde:

from watched.leg5b_apps import fitness_app_log

log = fitness_app_log()
print(len(log))      # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
#  'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
#  'headers': {}, 'body': {}}

t sind Sekunden seit der App geöffnet wurde. headers ist ein dict von request headers. body sind die Daten, die die App gesendet hat, bereits dekodiert in ein dict (es ist leer für GET requests, die ihre Daten in der Adresse tragen).

SDK (software development kit): Code von einer anderen Firma, der in eine App eingebaut wurde, für Anzeigen, Analysen, Karten oder Absturzberichte. In einer Erfassung erscheint ein SDK als Anfragen an die Domains dieser Firma.

Drei Orte, an denen Daten sich verstecken

Eine App kann ein Datenstück an drei Stellen platzieren, wie das Schreiben auf dem Umschlag, auf einem Haftnotizzettel auf dem Umschlag oder im Brief:

  1. Der Query String: der Teil der URL nach ?, als name=value Paare, die durch & verbunden sind.
  2. Headers: zusätzliche Labels auf der Anfrage, wie zum Beispiel X-Device-Id: D-7F3A9C.
  3. Der Body: die Hauptdaten einer POST Anfrage.

Die Standardbibliothek von Python teilt einen Query-String für dich auf. urlsplit zerlegt eine URL in Teile, und parse_qsl macht aus der Query eine Liste von (name, value) Paaren:

from urllib.parse import urlsplit, parse_qsl

parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname)          # tiles.mapkit.example
print(parts.query)             # lat=53.80&zoom=14
print(parse_qsl(parts.query))  # [('lat', '53.80'), ('zoom', '14')]

Namen vergleichbar machen

Die gleiche Idee kann in einem Body als device_id und in einem Header als X-Device-Id geschrieben werden (X- ist eine alte Gewohnheit für "custom header"). Bevor du vergleichst, normalisiere jeden Namen: Kleinschreibung, mache aus - ein _ und entferne ein führendes x_. Die Praxiswelt gibt dir das als normalise_name:

from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id"))   # device_id

Werte kommen in verschiedenen Typen vor (der Körper hat Zahlen wie 8412). Wandle jeden Wert mit str(value) in einen String um, damit sie alle gleich verglichen werden.

Was zählt als was

Die Praxiswelt gibt dir auch zwei Sätze von normalisierten Namen. IDENTIFIER_NAMES enthält Namen, die eine ID für dich oder dein Telefon tragen (device_id, user_id, idfa, email_sha256 und so weiter). LOCATION_NAMES enthält Namen, die sagen, wo du bist (lat, lon, city, postcode und so weiter).

Zeroed ad ID: wenn du einer iPhone App sagst, dich nicht zu verfolgen, oder deine Android Werbe-ID löschst, erhalten Apps, die nach der ID fragen, 00000000-0000-0000-0000-000000000000. Dieser Wert identifiziert niemanden, also zählt er nicht als Identifikator. Er ist in ZERO_AD_ID. Die nächste Lektion erklärt, warum er erscheint.

Erste Partei oder nicht

A ist eine Anfrage an ein SDK, wenn sein Host auf einer anderen site als die der App selbst ist. site_of von watched gibt die Seite an: site_of("cdn.fitfox.example") ist "fitfox.example", und site_of("sdk.adco.example") ist "adco.example".

Ein häufiges Missverständnis

"Nur Anfragen an seltsame Domains zählen." FitFox sendet deine Herzfrequenz und deine genaue Position an seinen eigenen Server und eine gehashte E-Mail an partners.fitfox.example. Letztere sieht nach einer First-Party-Anfrage aus, aber der Name allein kann dir nicht sagen, wer sie betreibt. Dein Audit wird sie nicht markieren; die nächste Übung wird es.

In anderen Sprachen

JavaScript: URL und URLSearchParams teilen eine URL.

function allFields(entry) {
  const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
  const out = [];
  for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
  for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
  for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
  return out;
}

Go: net/url macht den gleichen Job.

u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
    for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())

Zusammenfassung

  • Daten in einer Anfrage verstecken sich an drei Stellen: der query string, den headers und dem body.
  • urlsplit und parse_qsl teilen eine URL; das Normalisieren von Namen lässt dich sie vergleichen.
  • A eine nullgestellte ad ID identifiziert niemanden, also wird sie nicht gezählt.
  • Der Vergleich von Seiten findet die meisten SDKs, aber ein Name, der wie eine First-Party-Quelle aussieht, kann immer noch von jemand anderem ausgeführt werden.
Du bist dran

Schreibe zwei Funktionen.

  1. all_fields(entry) gibt eine Liste von (name, value) Tupeln für einen Log-Eintrag zurück: zuerst jedes Paar in der Query String der URL (in der Reihenfolge), dann jeden Header, dann jedes Body-Element. Jeder Name geht durch normalise_name, und jeder Wert wird zu einem String mit str(). Schreibe dies selbst; benutze nicht fields_of.
  2. der Übungswelt.
  3. audit(entries, app_site) gibt ein Dictionary mit drei Schlüsseln zurück, wobei jeder eine sortierte Liste ohne Wiederholungen ist:
    • "sdk_hosts": jeder Host (von urlsplit(url).hostname), dessen site_of(host) nicht app_site ist;
    • "identifiers": jeder Feldname in IDENTIFIER_NAMES, der mit einem echten Wert erscheint (nicht ZERO_AD_ID und nicht leer);
    • "location": jeder Feldname in LOCATION_NAMES, der erscheint.
Führe schließlich report = audit(fitness_app_log(), "fitfox.example") aus und drucke es aus.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.