Auditer une appli d'entraînement
Pourquoi c'est important Une capture de trafic est une longue liste désordonnée. La compétence qui la rend utile est simple : extraire chaque champ, puis les trier en « qui l'a reçu » et « ce que c'était ». Tu vas écrire cet audit pour une appli de sport d'entraînement, et la même idée marche sur n'importe quel journal de requêtes que tu as le droit de lire.
La capture d'entraînement
Notre appli d'entraînement est FitFox, un podomètre inventé dont le site est fitfox.example. Sa capture est une liste Python. Chaque élément est une requête, telle qu'un proxy d'interception la journaliserait :
from watched.leg5b_apps import fitness_app_log
log = fitness_app_log()
print(len(log)) # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
# 'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
# 'headers': {}, 'body': {}}
t est le nombre de secondes depuis l'ouverture de l'appli. headers est un dict des en-têtes de la requête. body contient les données envoyées par l'appli, déjà décodées en dict (il est vide pour les requêtes GET, qui portent leurs données dans l'adresse).
SDK (kit de développement logiciel) : du code d'une autre entreprise intégré à une appli, pour la publicité, les statistiques, les cartes ou les rapports de plantage. Dans une capture, un SDK apparaît sous forme de requêtes vers les domaines de cette entreprise.
Trois endroits où les données se cachent
Une appli peut mettre une donnée à trois endroits, comme écrire sur l'enveloppe, sur un post-it collé sur l'enveloppe, ou dans la lettre :
- La chaîne de requête (query string) : la partie de l'URL après
?, sous forme de pairesname=valuereliées par&. - Les en-têtes : des étiquettes en plus sur la requête, comme
X-Device-Id: D-7F3A9C. - Le corps : les données principales d'une requête
POST.
La bibliothèque standard de Python découpe une chaîne de requête pour toi. urlsplit découpe une URL en parties, et parse_qsl transforme la requête en liste de paires (name, value) :
from urllib.parse import urlsplit, parse_qsl
parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname) # tiles.mapkit.example
print(parts.query) # lat=53.80&zoom=14
print(parse_qsl(parts.query)) # [('lat', '53.80'), ('zoom', '14')]
Rendre les noms comparables
La même idée peut s'écrire device_id dans un corps et X-Device-Id dans un en-tête (le X- est une vieille habitude pour « en-tête personnalisé »). Avant de comparer, normalise chaque nom : en minuscules, remplace - par _, et retire un x_ au début. Le monde d'entraînement te le donne sous le nom normalise_name :
from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id")) # device_id
Les valeurs sont de types différents (le corps a des nombres comme 8412). Transforme chaque valeur en chaîne avec str(value), pour qu'elles se comparent toutes de la même façon.
Ce qui compte comme quoi
Le monde d'entraînement te donne aussi deux ensembles de noms normalisés. IDENTIFIER_NAMES contient les noms qui portent un identifiant pour toi ou ton téléphone (device_id, user_id, idfa, email_sha256, etc.). LOCATION_NAMES contient les noms qui disent où tu es (lat, lon, city, postcode, etc.).
Identifiant publicitaire à zéro : quand tu dis à une appli iPhone de ne pas te suivre, ou que tu supprimes ton identifiant publicitaire Android, les applis qui demandent l'identifiant reçoivent 00000000-0000-0000-0000-000000000000. Cette valeur n'identifie personne, donc elle ne compte pas comme identifiant. Elle est dans ZERO_AD_ID. La leçon suivante explique pourquoi elle apparaît.
Premier ou pas
Une requête va vers un SDK quand son hôte est sur un autre site que celui de l'appli. site_of de watched donne le site : site_of("cdn.fitfox.example") vaut "fitfox.example", et site_of("sdk.adco.example") vaut "adco.example".
Une idée reçue
« Seules les requêtes vers des domaines étranges comptent. » FitFox envoie ton rythme cardiaque et ta position exacte à son propre serveur, et un e-mail haché à partners.fitfox.example. Ce dernier a l'air premier, mais le nom seul ne peut pas te dire qui le gère. Ton audit ne le signalera pas ; l'exercice suivant le fera.
Dans d'autres langages
JavaScript : URL et URLSearchParams découpent une URL.
function allFields(entry) {
const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
const out = [];
for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
return out;
}
Go : net/url fait le même travail.
u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())
Récap
- Les données d'une requête se cachent à trois endroits : la chaîne de requête, les en-têtes et le corps.
urlsplitetparse_qsldécoupent une URL ; normaliser les noms permet de les comparer.- Un identifiant publicitaire à zéro n'identifie personne, donc il n'est pas compté.
- Comparer les sites trouve la plupart des SDK, mais un nom qui a l'air premier peut quand même être géré par quelqu'un d'autre.
Écris deux fonctions.
all_fields(entry)renvoie une liste de tuples(name, value)pour une entrée du journal : d'abord chaque paire de la chaîne de requête de l'URL (dans l'ordre), puis chaque en-tête, puis chaque élément du corps. Chaque nom passe parnormalise_name, et chaque valeur devient une chaîne avecstr(). Écris-la toi-même ; n'utilise pasfields_ofdu monde d'entraînement.audit(entries, app_site)renvoie un dict à trois clés, chacune une liste triée sans doublons :"sdk_hosts": chaque hôte (venant deurlsplit(url).hostname) dontsite_of(host)n'est pasapp_site;"identifiers": chaque nom de champ deIDENTIFIER_NAMESqui apparaît avec une vraie valeur (niZERO_AD_IDni vide) ;"location": chaque nom de champ deLOCATION_NAMESqui apparaît.
report = audit(fitness_app_log(), "fitfox.example") et affiche le résultat.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.