Oudit 'n oefen-app
Waarom dit saak maak 'n verkeersopname is 'n lang, deurmekaar lys. Die vaardigheid wat dit in iets nuttigs verander is eenvoudig: haal elke veld uit, en sorteer hulle dan in "wie het dit ontvang" en "wat was dit". Jy gaan daardie oudit skryf vir 'n oefen-fiksheidsapp, en dieselfde idee werk op enige versoeklog wat jy toegelaat word om te lees.
Die oefening vasvang
Ons oefen-app is FitFox, 'n denkbeeldige stap-teller waarvan die eie webwerf fitfox.example is. Die vasvang daarvan is 'n Python list. Elke item is een versoek, soos 'n interception proxy dit sou log:
from watched.leg5b_apps import fitness_app_log
log = fitness_app_log()
print(len(log)) # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
# 'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
# 'headers': {}, 'body': {}}
t is sekondes sedert die app oopgegaan. headers is 'n dict van request headers. body is die data wat die app gestuur het, reeds ontkodeer in 'n dict (dit is leeg vir GET versoeke, wat hul data in die adres dra).
SDK (software development kit): kode van 'n ander maatskappy wat in 'n app ingebou is, vir advertensies, analitiese data, kaarte of foutberigte. In 'n capture verskyn 'n SDK as versoeke na daardie maatskappy se domeine.
Drie plekke waar data wegsteek
'n app kan 'n stuk data in drie plekke sit, soos om op die koever te skryf, op 'n plaknota op die koever, of in die brief:
- Die query string: die deel van die URL na
?, asname=valuepare wat deur&geskei word. - Headers: ekstra etikette op die versoek, soos
X-Device-Id: D-7F3A9C. - Die liggaam: die hoofdata van 'n
POSTversoek.
Python se standaardbiblioteek verdeel 'n query string vir jou. urlsplit breek 'n URL in dele op, en parse_qsl verander die query in 'n lys van (name, value) pare:
from urllib.parse import urlsplit, parse_qsl
parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname) # tiles.mapkit.example
print(parts.query) # lat=53.80&zoom=14
print(parse_qsl(parts.query)) # [('lat', '53.80'), ('zoom', '14')]
Maak name vergelykbaar
Dieselfde idee kan device_id in 'n body en X-Device-Id in 'n header gespel word (die X- is 'n ou gewoonte vir "custom header"). Voordat jy vergelyk, normaliseer elke naam: kleinletters, verander - na _, en verwyder 'n voorgaande x_. Die praktykwereld gee jou dit as normalise_name:
from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id")) # device_id
Waardes kom in verskillende tipes (die body het nommers soos 8412). Verander elke waarde na 'n string met str(value), sodat hulle almal dieselfde vergelyk.
Wat tel as wat
Die oefenwêreld gee ook vir jou twee stelle genormaliseerde name. IDENTIFIER_NAMES hou name wat 'n ID vir jou of jou foon bevat (device_id, user_id, idfa, email_sha256 en so aan). LOCATION_NAMES hou name wat sê waar jy is (lat, lon, city, postcode en so aan).
Zeroed ad ID: wanneer jy 'n iPhone-app vertel om jou nie te volg nie, of jou Android-advertensie-ID vee, kry toepaisse wat vir die ID vra 00000000-0000-0000-0000-000000000000. Daardie waarde identifiseer niemand nie, so dit tel nie as 'n identifikasie nie. Dit is in ZERO_AD_ID. Die volgende les verduidelik waarom dit verskyn.
Eerste party of nie
'nA-versoek is na 'n SDK wanneer sy gasheer op 'n ander site as die toepassing se eie een is. site_of van watched gee die webwerf: site_of("cdn.fitfox.example") is "fitfox.example", en site_of("sdk.adco.example") is "adco.example".
A algemene wanbeleving
"Slegs versoeke na vreemde domeine saak." FitFox stuur jou hartklop en presiese posisie na sy eie bediener, en 'n gehashede e-pos na partners.fitfox.example. Daardie laaste een lyk soos eerste party, maar die naam alleen kan nie vir jou vertel wie dit bestuur nie. Jou oudit sal dit nie aanduid nie; die volgende oefening sal.
In ander tale
JavaScript: URL en URLSearchParams verdeel 'n URL.
function allFields(entry) {
const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
const out = [];
for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
return out;
}
Go: net/url doen dieselfde werk.
u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())
Opsomming
- Data in 'n versoek skuil in drie plekke: die query string, die headers en die body.
urlsplitenparse_qslsplits 'n URL; die normalisering van name laat jou toe om hulle te vergelyk.- A zeroed ad ID identifiseer niemand nie, so dit word nie getel nie.
- Omvergeliking van webwerwe vind die meeste SDKs, maar 'n naam wat soos 'n eerste party klink, kan steeds deur iemand anders gebruik word.
Skryf twee funksies.
all_fields(entry)gee 'n lys van(name, value)-tuples vir een log-inskrywing: eers elke paar in die URL se query string (in volgorde), dan elke header, dan elke body-item. Elke naam gaan deurnormalise_name, en elke waarde word 'n string metstr(). Skryf dit self; moenie die oefenwêreld sefields_of. gebruik nie.
audit(entries, app_site)gee 'n dict met drie sleutels, elk 'n gesorteerde lys sonder herhalings:"sdk_hosts": elke host (vanurlsplit(url).hostname) wie sesite_of(host)nieapp_siteis nie;"identifiers": elke veldnaam inIDENTIFIER_NAMESwat verskyn met 'n werklike waarde (nieZERO_AD_IDen nie leeg nie);"location": elke veldnaam inLOCATION_NAMESwat verskyn.
report = audit(fitness_app_log(), "fitfox.example") en druk dit uit.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.