سرفصل‌ها درس 109 از 156 · برنامه‌ها و دستگاه‌ها
برنامه‌ها و دستگاه‌ها

ممیزی یک برنامهٔ تمرینی

چرا مهم است یک ضبط ترافیک فهرستی طولانی و درهم است. مهارتی که آن را به چیزی مفید تبدیل می‌کند ساده است: هر فیلد را بیرون بکشید، سپس آن‌ها را به «چه کسی آن را دریافت کرد» و «چه چیزی بود» تقسیم کنید. این ممیزی را برای یک برنامهٔ تناسب اندام تمرینی می‌نویسید، و همین ایده روی هر گزارش درخواستی که اجازهٔ خواندنش را دارید کار می‌کند.

ضبط تمرینی

برنامهٔ تمرینی ما FitFox است، یک گام‌شمار ساختگی که سایت خودش fitfox.example است. ضبط آن یک فهرست Python است. هر مورد یک درخواست است، همان‌طور که یک پراکسی رهگیری آن را ثبت می‌کرد:

from watched.leg5b_apps import fitness_app_log

log = fitness_app_log()
print(len(log))      # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
#  'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
#  'headers': {}, 'body': {}}

t ثانیه‌ها از زمان بازشدن برنامه است. headers یک dict از سرآیندهای درخواست است. body داده‌ای است که برنامه فرستاد، از قبل به یک dict رمزگشایی شده (برای درخواست‌های GET خالی است، که داده‌شان را در نشانی حمل می‌کنند).

SDK (کیت توسعهٔ نرم‌افزار): کدی از یک شرکت دیگر که درون یک برنامه ساخته شده، برای آگهی‌ها، تحلیل، نقشه‌ها یا گزارش‌های خرابی. در یک ضبط، یک SDK به شکل درخواست‌هایی به دامنه‌های آن شرکت ظاهر می‌شود.

سه جایی که داده پنهان می‌شود

یک برنامه می‌تواند یک تکه داده را در سه جا بگذارد، مثل نوشتن روی پاکت، روی یک برگهٔ چسبی روی پاکت، یا در نامه:

  1. رشتهٔ پرس‌وجو: بخشی از URL پس از ?، به شکل جفت‌های name=value که با & به هم وصل شده‌اند.
  2. سرآیندها: برچسب‌های اضافه روی درخواست، مانند X-Device-Id: D-7F3A9C.
  3. بدنه: دادهٔ اصلی یک درخواست POST.

کتابخانهٔ استاندارد Python یک رشتهٔ پرس‌وجو را برایتان جدا می‌کند. urlsplit یک URL را به بخش‌هایش می‌شکند، و parse_qsl پرس‌وجو را به فهرستی از جفت‌های (name, value) تبدیل می‌کند:

from urllib.parse import urlsplit, parse_qsl

parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname)          # tiles.mapkit.example
print(parts.query)             # lat=53.80&zoom=14
print(parse_qsl(parts.query))  # [('lat', '53.80'), ('zoom', '14')]

مقایسه‌پذیرکردن نام‌ها

همان ایده می‌تواند در یک بدنه device_id و در یک سرآیند X-Device-Id نوشته شود (X- عادتی قدیمی برای «سرآیند سفارشی» است). پیش از مقایسه، هر نام را یکدست کنید: حروف کوچک، - را به _ تبدیل کنید، و یک x_ آغازین را حذف کنید. دنیای تمرینی این را به شکل normalise_name به شما می‌دهد:

from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id"))   # device_id

مقدارها نوع‌های متفاوتی دارند (بدنه عددهایی مانند 8412 دارد). هر مقدار را با str(value) به یک رشته تبدیل کنید، تا همه به یک شکل مقایسه شوند.

چه چیزی چه حساب می‌شود

دنیای تمرینی دو مجموعه از نام‌های یکدست‌شده هم به شما می‌دهد. IDENTIFIER_NAMES نام‌هایی را دارد که یک شناسه برای شما یا تلفنتان حمل می‌کنند (device_id، user_id، idfa، email_sha256 و مانند این‌ها). LOCATION_NAMES نام‌هایی را دارد که می‌گویند کجا هستید (lat، lon، city، postcode و مانند این‌ها).

شناسهٔ آگهی صفرشده: وقتی به یک برنامهٔ iPhone می‌گویید شما را ردیابی نکند، یا شناسهٔ تبلیغاتی Android خود را حذف می‌کنید، برنامه‌هایی که شناسه را می‌خواهند 00000000-0000-0000-0000-000000000000 دریافت می‌کنند. آن مقدار هیچ‌کس را مشخص نمی‌کند، پس به‌عنوان شناسه حساب نمی‌شود. در ZERO_AD_ID است. درس بعدی توضیح می‌دهد چرا ظاهر می‌شود.

شخص اول یا نه

یک درخواست وقتی به یک SDK است که میزبانش روی سایتی متفاوت با سایت خود برنامه باشد. site_of از watched سایت را می‌دهد: site_of("cdn.fitfox.example") برابر "fitfox.example" است، و site_of("sdk.adco.example") برابر "adco.example".

یک تصور نادرست رایج

«فقط درخواست‌ها به دامنه‌های عجیب مهم‌اند.» FitFox ضربان قلب و موقعیت دقیق شما را به سرور خودش می‌فرستد، و یک ایمیل هش‌شده را به partners.fitfox.example. آن آخری شخص اول به نظر می‌رسد، اما نام به‌تنهایی نمی‌تواند بگوید چه کسی آن را اداره می‌کند. ممیزی شما آن را علامت نمی‌زند؛ تمرین بعدی می‌زند.

در زبان‌های دیگر

JavaScript: URL و URLSearchParams یک URL را جدا می‌کنند.

function allFields(entry) {
  const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
  const out = [];
  for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
  for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
  for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
  return out;
}

Go: net/url همین کار را انجام می‌دهد.

u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
    for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())

خلاصه

  • داده در یک درخواست در سه جا پنهان می‌شود: رشتهٔ پرس‌وجو، سرآیندها و بدنه.
  • urlsplit و parse_qsl یک URL را جدا می‌کنند؛ یکدست‌کردن نام‌ها به شما امکان مقایسهٔ آن‌ها را می‌دهد.
  • یک شناسهٔ آگهی صفرشده هیچ‌کس را مشخص نمی‌کند، پس شمرده نمی‌شود.
  • مقایسهٔ سایت‌ها بیشتر SDKها را پیدا می‌کند، اما یک نام به ظاهر شخص اول همچنان ممکن است توسط کس دیگری اداره شود.
نوبت شما

دو تابع بنویسید.

  1. all_fields(entry) فهرستی از تاپل‌های (name, value) برای یک ورودی گزارش برمی‌گرداند: اول هر جفت در رشتهٔ پرس‌وجوی URL (به ترتیب)، سپس هر سرآیند، سپس هر مورد بدنه. هر نام از normalise_name می‌گذرد، و هر مقدار با str() به یک رشته تبدیل می‌شود. این را خودتان بنویسید؛ از fields_of دنیای تمرینی استفاده نکنید.
  2. audit(entries, app_site) یک dict با سه کلید برمی‌گرداند، که هر کدام یک فهرست مرتب‌شده بدون تکرار است:
    • "sdk_hosts": هر میزبان (از urlsplit(url).hostname) که site_of(host) آن برابر app_site نیست؛
    • "identifiers": هر نام فیلدی در IDENTIFIER_NAMES که با یک مقدار واقعی ظاهر می‌شود (نه ZERO_AD_ID و نه خالی)؛
    • "location": هر نام فیلدی در LOCATION_NAMES که ظاهر می‌شود.
در پایان، report = audit(fitness_app_log(), "fitfox.example") را اجرا کنید و آن را چاپ کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.