Programma Les 109 van 156 · Apps en apparaten
Apps en apparaten

Audit een oefenapp

Waarom dit ertoe doet Een traffic capture is een lange, rommelige lijst. De vaardigheid die het omzet in iets nuttigs is simpel: haal elk veld eruit, en sorteer ze dan in "wie ontving het" en "wat was het". Je schrijft die audit voor een oefen fitness app, en hetzelfde idee werkt op elke request log die je mag lezen.

De praktijkopname

Onze oefenapp is FitFox, een denkbeeldige stappenteller waarvan de eigen site fitfox.example is. De opname is een Python list. Elk item is één request, zoals een interception proxy het zou loggen:

from watched.leg5b_apps import fitness_app_log

log = fitness_app_log()
print(len(log))      # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
#  'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
#  'headers': {}, 'body': {}}

t zijn de seconden sinds de app is geopend. headers is een dictionary van request headers. body zijn de data die de app verzond, al gedecodeerd naar een dictionary (het is leeg voor GET requests, die hun data in het adres dragen).

SDK (software development kit): code van een ander bedrijf in een app gebouwd, voor advertenties, analytics, kaarten of crash rapporten. In een capture verschijnt een SDK als verzoeken naar de domeinen van dat bedrijf.

Drie plekken waar data zich verstopt

Een app kan een stuk data op drie plaatsen zetten, zoals op de envelop schrijven, op een plaknotitie op de envelop, of in de brief:

  1. De query string: het deel van de URL na ?, als name=value paren verbonden door &.
  2. Headers: extra labels op de aanvraag, zoals X-Device-Id: D-7F3A9C.
  3. Het lichaam: de belangrijkste gegevens van een POST aanvraag.

De standaardbibliotheek van Python splitst een query string voor je. urlsplit breekt een URL in delen, en parse_qsl zet de query om in een lijst van (name, value) paren:

from urllib.parse import urlsplit, parse_qsl

parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname)          # tiles.mapkit.example
print(parts.query)             # lat=53.80&zoom=14
print(parse_qsl(parts.query))  # [('lat', '53.80'), ('zoom', '14')]

Namen vergelijkbaar maken

Dezelfde gedachte kan worden gespeld als device_id in een body en X-Device-Id in een header (de X- is een oude gewoonte voor "custom header"). Voordat je vergelijkt, normaliseer je elke naam: kleine letters, verander - naar _, en verwijder een beginnende x_. De praktijkwereld geeft je dit als normalise_name:

from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id"))   # device_id

Waarden komen in verschillende types voor (de body heeft nummers zoals 8412). Zet elke waarde om naar een string met str(value), zodat ze allemaal op dezelfde manier worden vergeleken.

Wat telt als wat

De praktijkwereld geeft je ook twee sets genormaliseerde namen. IDENTIFIER_NAMES bevat namen die een ID voor jou of je telefoon bevatten (device_id, user_id, idfa, email_sha256 enzovoort). LOCATION_NAMES bevat namen die zeggen waar je bent (lat, lon, city, postcode enzovoort).

Zeroed ad ID: wanneer je een iPhone app vertelt je niet te volgen, of je Android advertentie-ID verwijdert, krijgen apps die om het ID vragen 00000000-0000-0000-0000-000000000000. Die waarde identificeert niemand, dus het telt niet als een identifier. Het is in ZERO_AD_ID. De volgende les legt uit waarom het verschijnt.

Eerste partij of niet

A aanvraag is naar een SDK wanneer de host op een andere site staat dan die van de app zelf. site_of van watched geeft de site: site_of("cdn.fitfox.example") is "fitfox.example", en site_of("sdk.adco.example") is "adco.example".

A veelvoorkomende misvatting

"Alleen verzoeken naar vreemde domeinen doen ertoe." FitFox stuurt je hartslag en exacte positie naar zijn eigen server, en een gehashte e-mail naar partners.fitfox.example. Die laatste lijkt first party, maar de naam alleen kan je niet vertellen wie het beheert. Je audit zal het niet markeren; de volgende oefening wel.

In andere talen

JavaScript: URL en URLSearchParams splitsen een URL.

function allFields(entry) {
  const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
  const out = [];
  for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
  for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
  for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
  return out;
}

Go: net/url doet hetzelfde.

u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
    for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())

Samenvatting

  • Data in een request zit op drie plaatsen: de query string, de headers en de body.
  • urlsplit en parse_qsl splitsen een URL; het normaliseren van namen laat je ze vergelijken.
  • A zeroed ad ID identificeert niemand, dus wordt het niet geteld.
  • Het vergelijken van sites vindt de meeste SDKs, maar een naam die lijkt op een first-party naam kan nog steeds door iemand anders worden gebruikt.
Jij bent aan de beurt

Schrijf twee functies.

  1. all_fields(entry) geeft een lijst van (name, value) tuples voor één log entry terug: eerst elk paar in de query string van de URL (in volgorde), dan elke header, dan elk body item. Elke naam gaat door normalise_name, en elke waarde wordt een string met str(). Schrijf dit zelf; gebruik geen fields_of.
  2. van de oefenwereld.
  3. audit(entries, app_site) geeft een dictionary terug met drie keys, elk een gesorteerde lijst zonder herhalingen:
    • "sdk_hosts": elke host (vanuit urlsplit(url).hostname) waarvan de site_of(host) niet app_site is;
    • "identifiers": elke veldnaam in IDENTIFIER_NAMES die verschijnt met een echte waarde (geen ZERO_AD_ID en niet leeg);
    • "location": elke veldnaam in LOCATION_NAMES die verschijnt.
Draai ten slotte report = audit(fitness_app_log(), "fitfox.example") en print het.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.