Программа курса Урок 109 из 156 · Приложения и устройства
Приложения и устройства

Проверьте учебное приложение

Почему это важно Захват трафика это длинный и запутанный список. Навык превращения его во что-то полезное прост: вытащить каждое поле, а затем отсортировать их на кто получил и что это было. Вы напишете этот аудит для тренировочного фитнес приложения, и та же идея работает для любого лога запросов, который вам разрешено читать.

Практика захвата

Наше учебное приложение FitFox это вымышленный счетчик шагов, чей сайт находится по адресу fitfox.example. Его захват это Python list. Каждый элемент это один запрос, как его залогировал бы прокси для перехвата:

from watched.leg5b_apps import fitness_app_log

log = fitness_app_log()
print(len(log))      # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
#  'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
#  'headers': {}, 'body': {}}

t - это секунды с момента открытия приложения. headers - это словарь заголовков запроса. body - это данные, которые отправило приложение, уже декодированные в словарь (он пустой для запросов GET, которые несут свои данные в адресе).

SDK (software development kit): код другой компании, встроенный в приложение, для рекламы, аналитики, карт или отчетов о сбоях. В захвате SDK отображается как запросы к доменам этой компании.

Три места, где прячутся данные

Приложение может поместить данные в трех местах, например, написать на конверте, на стикере на конверте или в письме:

  1. Строка запроса: часть URL после ?, как пары name=value, соединенные через &.
  2. Headers: дополнительные метки в запросе, такие как X-Device-Id: D-7F3A9C.
  3. Тело: основные данные POST запроса.

Стандартная библиотека Python разделяет строку запроса за вас. urlsplit разбивает URL на части, а parse_qsl превращает запрос в список пар (name, value):

from urllib.parse import urlsplit, parse_qsl

parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname)          # tiles.mapkit.example
print(parts.query)             # lat=53.80&zoom=14
print(parse_qsl(parts.query))  # [('lat', '53.80'), ('zoom', '14')]

Сравнение имен

Та же идея может быть записана как device_id в теле и X-Device-Id в заголовке (X- это старая привычка для "custom header"). Перед сравнением нормализуйте каждое имя: приведите к нижнему регистру, превратите - в _ и удалите ведущий x_. Практический мир дает вам это как normalise_name:

from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id"))   # device_id

Значения бывают разных типов (в теле есть числа типа 8412). Превращайте каждое значение в строку с помощью str(value), чтобы они все сравнивались одинаково.

Что чем считается

Мир практики также дает вам два набора нормализованных имен. IDENTIFIER_NAMES содержит имена, которые несут ID для вас или вашего телефона (device_id, user_id, idfa, email_sha256 и так далее). LOCATION_NAMES содержит имена, которые говорят, где вы находитесь (lat, lon, city, postcode и так далее).

Обнуленный рекламный ID: когда вы говорите приложению для iPhone не отслеживать вас или удаляете рекламный ID в Android, приложения, запрашивающие ID, получают 00000000-0000-0000-0000-000000000000. Это значение никого не идентифицирует, поэтому оно не считается идентификатором. Оно находится в ZERO_AD_ID. Следующий урок объясняет, почему оно появляется.

Первая сторона или нет

A запрос к SDK, когда его хост находится на другом site, чем приложение. site_of из watched дает сайт: site_of("cdn.fitfox.example") это "fitfox.example", и site_of("sdk.adco.example") это "adco.example".

A распространенное заблуждение

"Только запросы к странным доменам важны." FitFox отправляет ваш пульс и точное местоположение на свой сервер, а хешированный email в partners.fitfox.example. Последний кажется первым лицом, но одно название не может сказать, кто им управляет. Ваш аудит не пометит его; следующее упражнение пометит.

В других языках

JavaScript: URL и URLSearchParams разделяют URL.

function allFields(entry) {
  const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
  const out = [];
  for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
  for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
  for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
  return out;
}

Go: net/url делает ту же работу.

u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
    for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())

Итог

  • Данные в запросе скрываются в трех местах: query string, headers и body.
  • urlsplit и parse_qsl разделяют URL; нормализация имен позволяет их сравнивать.
  • A идентификатор ad ID с нулевыми значениями никого не определяет, поэтому он не учитывается.
  • Сравнение сайтов помогает найти большинство SDK, но имя, похожее на официальное, все еще может быть использовано кем-то другим.
Твоя очередь

Напишите две функции.

  1. all_fields(entry) возвращает список кортежей (name, value) для одной записи лога: сначала каждая пара в query string URL (в порядке), затем каждый header, затем каждый элемент body. Каждое имя проходит через normalise_name, а каждое значение становится строкой с str(). Напишите это сами; не используйте fields_of.
  2. из учебного мира.
  3. audit(entries, app_site) возвращает словарь с тремя ключами, каждый из которых является отсортированным списком без повторений:
    • "sdk_hosts": каждый хост (из urlsplit(url).hostname), чей site_of(host) не является app_site;
    • "identifiers": каждое имя поля в IDENTIFIER_NAMES, которое появляется с реальным значением (не ZERO_AD_ID и не пустое);
    • "location": каждое имя поля в LOCATION_NAMES, которое появляется.
Наконец, запустите report = audit(fitness_app_log(), "fitfox.example") и выведите его.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.