Silabus Pelajaran 109 dari 156 · Aplikasi dan perangkat
Aplikasi dan perangkat

Audit aplikasi latihan

Kenapa ini penting Traffic capture adalah daftar yang panjang dan berantakan. Keahlian untuk mengubahnya menjadi sesuatu yang berguna itu sederhana: ambil setiap field, lalu urutkan menjadi "siapa yang menerima" dan "apa isinya". Kamu akan menulis audit itu untuk aplikasi fitness latihan, dan ide yang sama berlaku untuk log request apa pun yang boleh kamu baca.

Latihan penangkapan

Aplikasi latihan kita adalah FitFox, penghitung langkah buatan yang situsnya ada di fitfox.example. Hasil tangkapannya adalah list Python. Setiap item adalah satu request, seperti yang dicatat oleh proxy intersepsi:

from watched.leg5b_apps import fitness_app_log

log = fitness_app_log()
print(len(log))      # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
#  'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
#  'headers': {}, 'body': {}}

t adalah detik sejak aplikasi dibuka. headers adalah dict dari request headers. body adalah data yang dikirim aplikasi, sudah didekode menjadi dict (ini kosong untuk request GET, yang membawa datanya di alamat).

SDK (software development kit): kode dari perusahaan lain yang dibangun ke dalam aplikasi, untuk iklan, analitik, peta atau laporan crash. Dalam sebuah capture, SDK muncul sebagai permintaan ke domain perusahaan tersebut.

Tiga tempat data tersembunyi

Aplikasi bisa menaruh data di tiga tempat, seperti menulis di amplop, di catatan tempel pada amplop, atau di dalam surat:

  1. Query string: bagian dari URL setelah ?, sebagai pasangan name=value yang digabung oleh &.
  2. Headers: label tambahan pada request, seperti X-Device-Id: D-7F3A9C.
  3. Isi: data utama dari sebuah POST request.

Library standar Python membagi string query untukmu. urlsplit memecah URL menjadi bagian-bagian, dan parse_qsl mengubah query menjadi daftar pasangan (name, value):

from urllib.parse import urlsplit, parse_qsl

parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname)          # tiles.mapkit.example
print(parts.query)             # lat=53.80&zoom=14
print(parse_qsl(parts.query))  # [('lat', '53.80'), ('zoom', '14')]

Membuat nama dapat dibandingkan

Ide yang sama bisa ditulis device_id di body dan X-Device-Id di header (X- adalah kebiasaan lama untuk "custom header"). Sebelum membandingkan, normalisasi setiap nama: huruf kecil, ubah - menjadi _, dan hapus x_ di depan. Dunia praktis memberimu ini sebagai normalise_name:

from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id"))   # device_id

Nilai datang dalam tipe yang berbeda (badan memiliki angka seperti 8412). Ubah setiap nilai menjadi string dengan str(value), supaya semuanya bisa dibandingkan dengan cara yang sama.

Apa yang dihitung sebagai apa

Dunia latihan juga memberimu dua set nama yang dinormalisasi. IDENTIFIER_NAMES berisi nama yang membawa ID untukmu atau ponselmu (device_id, user_id, idfa, email_sha256 dan seterusnya). LOCATION_NAMES berisi nama yang menunjukkan di mana kamu berada (lat, lon, city, postcode dan seterusnya).

Zeroed ad ID: saat kamu menyuruh aplikasi iPhone untuk tidak melacakmu, atau menghapus ID iklan Android milikmu, aplikasi yang meminta ID tersebut akan mendapatkan 00000000-0000-0000-0000-000000000000. Nilai itu tidak mengidentifikasi siapa pun, jadi itu tidak dihitung sebagai pengidentifikasi. Itu ada di ZERO_AD_ID. Pelajaran berikutnya menjelaskan mengapa itu muncul.

Pihak pertama atau bukan

Permintaan

A adalah ke SDK saat hostnya berada di site yang berbeda dari aplikasi itu sendiri. site_of dari watched memberikan situs: site_of("cdn.fitfox.example") adalah "fitfox.example", dan site_of("sdk.adco.example") adalah "adco.example".

Kesalahpahaman umum

"Hanya permintaan ke domain aneh yang penting." FitFox mengirim detak jantung dan posisi tepatmu ke servernya sendiri, dan email yang di-hash ke partners.fitfox.example. Yang terakhir terlihat seperti pihak pertama, tapi nama saja tidak bisa memberitahumu siapa yang menjalankannya. Auditmu tidak akan menandainya; latihan berikutnya akan.

Di bahasa lain

JavaScript: URL dan URLSearchParams membagi sebuah URL.

function allFields(entry) {
  const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
  const out = [];
  for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
  for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
  for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
  return out;
}

Go: net/url melakukan hal yang sama.

u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
    for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())

Ringkasan

  • Data dalam sebuah request tersembunyi di tiga tempat: query string, headers, dan body.
  • urlsplit dan parse_qsl membagi sebuah URL; menormalisasi nama memungkinkan kamu membandingkannya.
  • A ad ID bernilai nol tidak mengidentifikasi siapa pun, jadi tidak dihitung.
  • Membandingkan situs menemukan sebagian besar SDK, tapi nama yang terlihat seperti pihak pertama masih bisa dijalankan oleh orang lain.
Giliranku

Tulis dua fungsi.

  1. all_fields(entry) mengembalikan daftar tuple (name, value) untuk satu entri log: pertama setiap pasangan di query string URL (sesuai urutan), lalu setiap header, lalu setiap item body. Setiap nama melewati normalise_name, dan setiap nilai menjadi string dengan str(). Tulis ini sendiri; jangan gunakan fields_of.
  2. dari dunia latihan.
  3. audit(entries, app_site) mengembalikan dict dengan tiga kunci, masing-masing adalah daftar yang diurutkan tanpa duplikat:
    • "sdk_hosts": setiap host (dari urlsplit(url).hostname) yang site_of(host) nya bukan app_site;
    • "identifiers": setiap nama field di IDENTIFIER_NAMES yang muncul dengan nilai asli (bukan ZERO_AD_ID dan tidak kosong);
    • "location": setiap nama field di LOCATION_NAMES yang muncul.
Terakhir, jalankan report = audit(fitness_app_log(), "fitfox.example") dan cetak hasilnya.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.