Audit een oefenapp
Waarom dit ertoe doet Een traffic capture is een lange, rommelige lijst. De vaardigheid die het omzet in iets nuttigs is simpel: haal elk veld eruit, en sorteer ze dan in "wie ontving het" en "wat was het". Je schrijft die audit voor een oefen fitness app, en hetzelfde idee werkt op elke request log die je mag lezen.
De praktijkopname
Onze oefenapp is FitFox, een denkbeeldige stappenteller waarvan de eigen site fitfox.example is. De opname is een Python list. Elk item is één request, zoals een interception proxy het zou loggen:
from watched.leg5b_apps import fitness_app_log
log = fitness_app_log()
print(len(log)) # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
# 'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
# 'headers': {}, 'body': {}}
t zijn de seconden sinds de app is geopend. headers is een dictionary van request headers. body zijn de data die de app verzond, al gedecodeerd naar een dictionary (het is leeg voor GET requests, die hun data in het adres dragen).
SDK (software development kit): code van een ander bedrijf in een app gebouwd, voor advertenties, analytics, kaarten of crash rapporten. In een capture verschijnt een SDK als verzoeken naar de domeinen van dat bedrijf.
Drie plekken waar data zich verstopt
Een app kan een stuk data op drie plaatsen zetten, zoals op de envelop schrijven, op een plaknotitie op de envelop, of in de brief:
- De query string: het deel van de URL na
?, alsname=valueparen verbonden door&. - Headers: extra labels op de aanvraag, zoals
X-Device-Id: D-7F3A9C. - Het lichaam: de belangrijkste gegevens van een
POSTaanvraag.
De standaardbibliotheek van Python splitst een query string voor je. urlsplit breekt een URL in delen, en parse_qsl zet de query om in een lijst van (name, value) paren:
from urllib.parse import urlsplit, parse_qsl
parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname) # tiles.mapkit.example
print(parts.query) # lat=53.80&zoom=14
print(parse_qsl(parts.query)) # [('lat', '53.80'), ('zoom', '14')]
Namen vergelijkbaar maken
Dezelfde gedachte kan worden gespeld als device_id in een body en X-Device-Id in een header (de X- is een oude gewoonte voor "custom header"). Voordat je vergelijkt, normaliseer je elke naam: kleine letters, verander - naar _, en verwijder een beginnende x_. De praktijkwereld geeft je dit als normalise_name:
from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id")) # device_id
Waarden komen in verschillende types voor (de body heeft nummers zoals 8412). Zet elke waarde om naar een string met str(value), zodat ze allemaal op dezelfde manier worden vergeleken.
Wat telt als wat
De praktijkwereld geeft je ook twee sets genormaliseerde namen. IDENTIFIER_NAMES bevat namen die een ID voor jou of je telefoon bevatten (device_id, user_id, idfa, email_sha256 enzovoort). LOCATION_NAMES bevat namen die zeggen waar je bent (lat, lon, city, postcode enzovoort).
Zeroed ad ID: wanneer je een iPhone app vertelt je niet te volgen, of je Android advertentie-ID verwijdert, krijgen apps die om het ID vragen 00000000-0000-0000-0000-000000000000. Die waarde identificeert niemand, dus het telt niet als een identifier. Het is in ZERO_AD_ID. De volgende les legt uit waarom het verschijnt.
Eerste partij of niet
A aanvraag is naar een SDK wanneer de host op een andere site staat dan die van de app zelf. site_of van watched geeft de site: site_of("cdn.fitfox.example") is "fitfox.example", en site_of("sdk.adco.example") is "adco.example".
A veelvoorkomende misvatting
"Alleen verzoeken naar vreemde domeinen doen ertoe." FitFox stuurt je hartslag en exacte positie naar zijn eigen server, en een gehashte e-mail naar partners.fitfox.example. Die laatste lijkt first party, maar de naam alleen kan je niet vertellen wie het beheert. Je audit zal het niet markeren; de volgende oefening wel.
In andere talen
JavaScript: URL en URLSearchParams splitsen een URL.
function allFields(entry) {
const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
const out = [];
for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
return out;
}
Go: net/url doet hetzelfde.
u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())
Samenvatting
- Data in een request zit op drie plaatsen: de query string, de headers en de body.
urlsplitenparse_qslsplitsen een URL; het normaliseren van namen laat je ze vergelijken.- A zeroed ad ID identificeert niemand, dus wordt het niet geteld.
- Het vergelijken van sites vindt de meeste SDKs, maar een naam die lijkt op een first-party naam kan nog steeds door iemand anders worden gebruikt.
Schrijf twee functies.
all_fields(entry)geeft een lijst van(name, value)tuples voor één log entry terug: eerst elk paar in de query string van de URL (in volgorde), dan elke header, dan elk body item. Elke naam gaat doornormalise_name, en elke waarde wordt een string metstr(). Schrijf dit zelf; gebruik geenfields_of. van de oefenwereld.
audit(entries, app_site)geeft een dictionary terug met drie keys, elk een gesorteerde lijst zonder herhalingen:"sdk_hosts": elke host (vanuiturlsplit(url).hostname) waarvan desite_of(host)nietapp_siteis;"identifiers": elke veldnaam inIDENTIFIER_NAMESdie verschijnt met een echte waarde (geenZERO_AD_IDen niet leeg);"location": elke veldnaam inLOCATION_NAMESdie verschijnt.
report = audit(fitness_app_log(), "fitfox.example") en print het.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.