Programme Leçon 109 sur 156 · Applis et appareils
Applis et appareils

Auditer une appli d'entraînement

Pourquoi c'est important Une capture de trafic est une longue liste désordonnée. La compétence qui la rend utile est simple : extraire chaque champ, puis les trier en « qui l'a reçu » et « ce que c'était ». Tu vas écrire cet audit pour une appli de sport d'entraînement, et la même idée marche sur n'importe quel journal de requêtes que tu as le droit de lire.

La capture d'entraînement

Notre appli d'entraînement est FitFox, un podomètre inventé dont le site est fitfox.example. Sa capture est une liste Python. Chaque élément est une requête, telle qu'un proxy d'interception la journaliserait :

from watched.leg5b_apps import fitness_app_log

log = fitness_app_log()
print(len(log))      # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
#  'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
#  'headers': {}, 'body': {}}

t est le nombre de secondes depuis l'ouverture de l'appli. headers est un dict des en-têtes de la requête. body contient les données envoyées par l'appli, déjà décodées en dict (il est vide pour les requêtes GET, qui portent leurs données dans l'adresse).

SDK (kit de développement logiciel) : du code d'une autre entreprise intégré à une appli, pour la publicité, les statistiques, les cartes ou les rapports de plantage. Dans une capture, un SDK apparaît sous forme de requêtes vers les domaines de cette entreprise.

Trois endroits où les données se cachent

Une appli peut mettre une donnée à trois endroits, comme écrire sur l'enveloppe, sur un post-it collé sur l'enveloppe, ou dans la lettre :

  1. La chaîne de requête (query string) : la partie de l'URL après ?, sous forme de paires name=value reliées par &.
  2. Les en-têtes : des étiquettes en plus sur la requête, comme X-Device-Id: D-7F3A9C.
  3. Le corps : les données principales d'une requête POST.

La bibliothèque standard de Python découpe une chaîne de requête pour toi. urlsplit découpe une URL en parties, et parse_qsl transforme la requête en liste de paires (name, value) :

from urllib.parse import urlsplit, parse_qsl

parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname)          # tiles.mapkit.example
print(parts.query)             # lat=53.80&zoom=14
print(parse_qsl(parts.query))  # [('lat', '53.80'), ('zoom', '14')]

Rendre les noms comparables

La même idée peut s'écrire device_id dans un corps et X-Device-Id dans un en-tête (le X- est une vieille habitude pour « en-tête personnalisé »). Avant de comparer, normalise chaque nom : en minuscules, remplace - par _, et retire un x_ au début. Le monde d'entraînement te le donne sous le nom normalise_name :

from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id"))   # device_id

Les valeurs sont de types différents (le corps a des nombres comme 8412). Transforme chaque valeur en chaîne avec str(value), pour qu'elles se comparent toutes de la même façon.

Ce qui compte comme quoi

Le monde d'entraînement te donne aussi deux ensembles de noms normalisés. IDENTIFIER_NAMES contient les noms qui portent un identifiant pour toi ou ton téléphone (device_id, user_id, idfa, email_sha256, etc.). LOCATION_NAMES contient les noms qui disent où tu es (lat, lon, city, postcode, etc.).

Identifiant publicitaire à zéro : quand tu dis à une appli iPhone de ne pas te suivre, ou que tu supprimes ton identifiant publicitaire Android, les applis qui demandent l'identifiant reçoivent 00000000-0000-0000-0000-000000000000. Cette valeur n'identifie personne, donc elle ne compte pas comme identifiant. Elle est dans ZERO_AD_ID. La leçon suivante explique pourquoi elle apparaît.

Premier ou pas

Une requête va vers un SDK quand son hôte est sur un autre site que celui de l'appli. site_of de watched donne le site : site_of("cdn.fitfox.example") vaut "fitfox.example", et site_of("sdk.adco.example") vaut "adco.example".

Une idée reçue

« Seules les requêtes vers des domaines étranges comptent. » FitFox envoie ton rythme cardiaque et ta position exacte à son propre serveur, et un e-mail haché à partners.fitfox.example. Ce dernier a l'air premier, mais le nom seul ne peut pas te dire qui le gère. Ton audit ne le signalera pas ; l'exercice suivant le fera.

Dans d'autres langages

JavaScript : URL et URLSearchParams découpent une URL.

function allFields(entry) {
  const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
  const out = [];
  for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
  for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
  for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
  return out;
}

Go : net/url fait le même travail.

u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
    for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())

Récap

  • Les données d'une requête se cachent à trois endroits : la chaîne de requête, les en-têtes et le corps.
  • urlsplit et parse_qsl découpent une URL ; normaliser les noms permet de les comparer.
  • Un identifiant publicitaire à zéro n'identifie personne, donc il n'est pas compté.
  • Comparer les sites trouve la plupart des SDK, mais un nom qui a l'air premier peut quand même être géré par quelqu'un d'autre.
À ton tour

Écris deux fonctions.

  1. all_fields(entry) renvoie une liste de tuples (name, value) pour une entrée du journal : d'abord chaque paire de la chaîne de requête de l'URL (dans l'ordre), puis chaque en-tête, puis chaque élément du corps. Chaque nom passe par normalise_name, et chaque valeur devient une chaîne avec str(). Écris-la toi-même ; n'utilise pas fields_of du monde d'entraînement.
  2. audit(entries, app_site) renvoie un dict à trois clés, chacune une liste triée sans doublons :
    • "sdk_hosts" : chaque hôte (venant de urlsplit(url).hostname) dont site_of(host) n'est pas app_site ;
    • "identifiers" : chaque nom de champ de IDENTIFIER_NAMES qui apparaît avec une vraie valeur (ni ZERO_AD_ID ni vide) ;
    • "location" : chaque nom de champ de LOCATION_NAMES qui apparaît.
Enfin, lance report = audit(fitness_app_log(), "fitfox.example") et affiche le résultat.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.