Analizza un'app di esercitazione
Perché è importante Una cattura di traffico è un elenco lungo e disordinato. L'abilità che lo trasforma in qualcosa di utile è semplice: estrai ogni campo, poi smistali in "chi l'ha ricevuto" e "che cos'era". Scriverai questa analisi per un'app di fitness di esercitazione, e la stessa idea funziona su qualsiasi registro di richieste che hai il permesso di leggere.
La cattura di esercitazione
La nostra app di esercitazione è FitFox, un contapassi inventato il cui sito è fitfox.example. La sua cattura è una lista Python. Ogni elemento è una richiesta, come la registrerebbe un proxy di intercettazione:
from watched.leg5b_apps import fitness_app_log
log = fitness_app_log()
print(len(log)) # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
# 'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
# 'headers': {}, 'body': {}}
t sono i secondi dall'apertura dell'app. headers è un dict di intestazioni della richiesta. body sono i dati inviati dall'app, già decodificati in un dict (è vuoto per le richieste GET, che portano i loro dati nell'indirizzo).
SDK (software development kit): codice di un'altra azienda incorporato in un'app, per pubblicità, statistiche, mappe o segnalazioni di crash. In una cattura, un SDK compare come richieste ai domini di quell'azienda.
Tre posti dove si nascondono i dati
Un'app può mettere un dato in tre posti, come scrivere sulla busta, su un post-it attaccato alla busta, o nella lettera:
- La query string: la parte dell'URL dopo
?, come coppiename=valueunite da&. - Le intestazioni: etichette extra sulla richiesta, come
X-Device-Id: D-7F3A9C. - Il corpo: i dati principali di una richiesta
POST.
La libreria standard di Python divide una query string al posto tuo. urlsplit spezza un URL nelle sue parti, e parse_qsl trasforma la query in una lista di coppie (name, value):
from urllib.parse import urlsplit, parse_qsl
parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname) # tiles.mapkit.example
print(parts.query) # lat=53.80&zoom=14
print(parse_qsl(parts.query)) # [('lat', '53.80'), ('zoom', '14')]
Rendere confrontabili i nomi
La stessa idea può essere scritta device_id in un corpo e X-Device-Id in un'intestazione (la X- è una vecchia abitudine per indicare una "intestazione personalizzata"). Prima di confrontare, normalizza ogni nome: minuscole, trasforma - in _, e togli una x_ iniziale. Il mondo di esercitazione te lo dà come normalise_name:
from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id")) # device_id
I valori arrivano in tipi diversi (il corpo ha numeri come 8412). Trasforma ogni valore in una stringa con str(value), così si confrontano tutti allo stesso modo.
Che cosa conta come che cosa
Il mondo di esercitazione ti dà anche due insiemi di nomi normalizzati. IDENTIFIER_NAMES contiene nomi che portano un ID per te o per il tuo telefono (device_id, user_id, idfa, email_sha256 e così via). LOCATION_NAMES contiene nomi che dicono dove sei (lat, lon, city, postcode e così via).
ID pubblicitario azzerato: quando dici a un'app per iPhone di non tracciarti, o elimini il tuo ID pubblicitario Android, le app che chiedono l'ID ricevono 00000000-0000-0000-0000-000000000000. Quel valore non identifica nessuno, quindi non conta come identificatore. È in ZERO_AD_ID. La prossima lezione spiega perché compare.
Prima parte o no
Una richiesta va a un SDK quando il suo host è su un sito diverso da quello dell'app. site_of da watched ti dà il sito: site_of("cdn.fitfox.example") è "fitfox.example", e site_of("sdk.adco.example") è "adco.example".
Un equivoco comune
"Contano solo le richieste verso domini strani." FitFox invia il tuo battito cardiaco e la tua posizione esatta al proprio server, e un'email con hash a partners.fitfox.example. Quest'ultimo sembra di prima parte, ma il nome da solo non può dirti chi lo gestisce. La tua analisi non lo segnalerà; lo farà il prossimo esercizio.
In altri linguaggi
JavaScript: URL e URLSearchParams dividono un URL.
function allFields(entry) {
const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
const out = [];
for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
return out;
}
Go: net/url fa lo stesso lavoro.
u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())
Riepilogo
- I dati in una richiesta si nascondono in tre posti: la query string, le intestazioni e il corpo.
urlspliteparse_qsldividono un URL; normalizzare i nomi ti permette di confrontarli.- Un ID pubblicitario azzerato non identifica nessuno, quindi non viene contato.
- Confrontare i siti trova la maggior parte degli SDK, ma un nome che sembra di prima parte può comunque essere gestito da qualcun altro.
Scrivi due funzioni.
all_fields(entry)restituisce una lista di tuple(name, value)per una voce del registro: prima ogni coppia della query string dell'URL (in ordine), poi ogni intestazione, poi ogni elemento del corpo. Ogni nome passa pernormalise_name, e ogni valore diventa una stringa constr(). Scrivilo tu; non usarefields_ofdel mondo di esercitazione.audit(entries, app_site)restituisce un dict con tre chiavi, ciascuna una lista ordinata senza ripetizioni:"sdk_hosts": ogni host (daurlsplit(url).hostname) il cuisite_of(host)non èapp_site;"identifiers": ogni nome di campo inIDENTIFIER_NAMESche compare con un valore vero (nonZERO_AD_IDe non vuoto);"location": ogni nome di campo inLOCATION_NAMESche compare.
report = audit(fitness_app_log(), "fitfox.example") e stampalo.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.