Conteúdo do curso Lição 109 de 156 · Apps e dispositivos
Apps e dispositivos

Auditar um app de prática

Por que isso importa Uma captura de tráfego é uma lista longa e bagunçada. A habilidade que a transforma em algo útil é simples: extraia cada campo e depois separe-os em "quem recebeu" e "o que era". Você vai escrever essa auditoria para um app de atividade física de prática, e a mesma ideia funciona em qualquer registro de requisições que você tenha permissão para ler.

A captura de prática

O nosso app de prática é o FitFox, um contador de passos inventado cujo próprio site é fitfox.example. A captura dele é uma lista do Python. Cada item é uma requisição, como um proxy de interceptação a registraria:

from watched.leg5b_apps import fitness_app_log

log = fitness_app_log()
print(len(log))      # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
#  'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
#  'headers': {}, 'body': {}}

t são os segundos desde que o app abriu. headers é um dict de cabeçalhos da requisição. body são os dados que o app enviou, já decodificados num dict (fica vazio nas requisições GET, que levam os dados no endereço).

SDK (kit de desenvolvimento de software): código de outra empresa embutido num app, para anúncios, análise, mapas ou relatórios de falhas. Numa captura, um SDK aparece como requisições aos domínios daquela empresa.

Três lugares onde os dados se escondem

Um app pode colocar um dado em três lugares, como escrever no envelope, num post-it colado no envelope ou na carta:

  1. A string de consulta: a parte da URL depois do ?, como pares name=value juntados por &.
  2. Os cabeçalhos: rótulos extras na requisição, como X-Device-Id: D-7F3A9C.
  3. O corpo: os dados principais de uma requisição POST.

A biblioteca padrão do Python divide uma string de consulta para você. urlsplit quebra uma URL em partes, e parse_qsl transforma a consulta numa lista de pares (name, value):

from urllib.parse import urlsplit, parse_qsl

parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname)          # tiles.mapkit.example
print(parts.query)             # lat=53.80&zoom=14
print(parse_qsl(parts.query))  # [('lat', '53.80'), ('zoom', '14')]

Deixando os nomes comparáveis

A mesma ideia pode ser escrita device_id num corpo e X-Device-Id num cabeçalho (o X- é um velho hábito para "cabeçalho personalizado"). Antes de comparar, normalize todos os nomes: minúsculas, troque - por _ e tire um x_ do começo. O mundo de prática dá isso a você como normalise_name:

from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id"))   # device_id

Os valores vêm em tipos diferentes (o corpo tem números como 8412). Transforme todo valor numa string com str(value), para que todos sejam comparados do mesmo jeito.

O que conta como o quê

O mundo de prática também dá a você dois conjuntos de nomes normalizados. IDENTIFIER_NAMES guarda os nomes que levam um ID seu ou do seu celular (device_id, user_id, idfa, email_sha256 e assim por diante). LOCATION_NAMES guarda os nomes que dizem onde você está (lat, lon, city, postcode e assim por diante).

ID de anúncio zerado: quando você pede a um app de iPhone que não rastreie você, ou apaga o seu ID de publicidade do Android, os apps que pedem o ID recebem 00000000-0000-0000-0000-000000000000. Esse valor não identifica ninguém, então não conta como identificador. Ele está em ZERO_AD_ID. A próxima lição explica por que ele aparece.

Primeira parte ou não

Uma requisição é para um SDK quando o host dela está num site diferente do site do próprio app. site_of de watched dá o site: site_of("cdn.fitfox.example") é "fitfox.example", e site_of("sdk.adco.example") é "adco.example".

Um equívoco comum

"Só as requisições para domínios estranhos importam." O FitFox envia o seu batimento cardíaco e a sua posição exata para o próprio servidor, e um e-mail com hash para partners.fitfox.example. Este último parece de primeira parte, mas o nome sozinho não diz quem o mantém. A sua auditoria não vai marcá-lo; o próximo exercício vai.

Em outras linguagens

JavaScript: URL e URLSearchParams dividem uma URL.

function allFields(entry) {
  const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
  const out = [];
  for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
  for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
  for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
  return out;
}

Go: net/url faz o mesmo trabalho.

u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
    for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())

Resumo

  • Os dados de uma requisição se escondem em três lugares: a string de consulta, os cabeçalhos e o corpo.
  • urlsplit e parse_qsl dividem uma URL; normalizar os nomes deixa você compará-los.
  • Um ID de anúncio zerado não identifica ninguém, então não é contado.
  • Comparar sites encontra a maioria dos SDKs, mas um nome com cara de primeira parte ainda pode ser mantido por outra pessoa.
Sua vez

Escreva duas funções.

  1. all_fields(entry) retorna uma lista de tuplas (name, value) para uma entrada do registro: primeiro cada par da string de consulta da URL (em ordem), depois cada cabeçalho, depois cada item do corpo. Cada nome passa por normalise_name, e cada valor vira uma string com str(). Escreva isso você mesmo; não use o fields_of do mundo de prática.
  2. audit(entries, app_site) retorna um dict com três chaves, cada uma uma lista ordenada sem repetições:
    • "sdk_hosts": cada host (de urlsplit(url).hostname) cujo site_of(host) não é app_site;
    • "identifiers": cada nome de campo de IDENTIFIER_NAMES que aparece com um valor real (que não seja ZERO_AD_ID nem vazio);
    • "location": cada nome de campo de LOCATION_NAMES que aparece.
Por fim, rode report = audit(fitness_app_log(), "fitfox.example") e imprima o resultado.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.