Chương trình học Bài 109 trên tổng số 156 · Ứng dụng và thiết bị
Ứng dụng và thiết bị

Kiểm toán một ứng dụng luyện tập

Vì sao điều này quan trọng Một bản ghi lưu lượng là một danh sách dài, lộn xộn. Kỹ năng biến nó thành thứ hữu ích rất đơn giản: rút ra mọi trường, rồi xếp chúng thành "ai đã nhận nó" và "nó là gì". Bạn sẽ viết cuộc kiểm toán đó cho một ứng dụng thể dục luyện tập, và cùng ý tưởng đó hoạt động trên bất kỳ nhật ký yêu cầu nào bạn được phép đọc.

Bản ghi luyện tập

Ứng dụng luyện tập của ta là FitFox, một bộ đếm bước chân bịa ra có trang riêng là fitfox.example. Bản ghi của nó là một list Python. Mỗi phần tử là một yêu cầu, như một proxy chặn bắt sẽ ghi lại:

from watched.leg5b_apps import fitness_app_log

log = fitness_app_log()
print(len(log))      # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
#  'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
#  'headers': {}, 'body': {}}

t là số giây kể từ khi ứng dụng mở. headers là một dict các header yêu cầu. body là dữ liệu ứng dụng đã gửi, đã được giải mã thành một dict (nó rỗng với các yêu cầu GET, vốn mang dữ liệu trong địa chỉ).

SDK (software development kit): mã từ một công ty khác được xây vào một ứng dụng, cho quảng cáo, phân tích, bản đồ hay báo cáo sự cố. Trong một bản ghi, một SDK hiện ra là các yêu cầu tới tên miền của công ty đó.

Ba nơi dữ liệu ẩn náu

Một ứng dụng có thể đặt một mẩu dữ liệu ở ba nơi, như viết lên phong bì, lên một mẩu giấy dán trên phong bì, hay trong lá thư:

  1. Chuỗi truy vấn: phần của URL sau dấu ?, gồm các cặp name=value nối bằng &.
  2. Header: các nhãn bổ sung trên yêu cầu, như X-Device-Id: D-7F3A9C.
  3. Phần thân: dữ liệu chính của một yêu cầu POST.

Thư viện chuẩn của Python tách một chuỗi truy vấn giùm bạn. urlsplit tách một URL thành các phần, và parse_qsl biến chuỗi truy vấn thành một list các cặp (name, value):

from urllib.parse import urlsplit, parse_qsl

parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname)          # tiles.mapkit.example
print(parts.query)             # lat=53.80&zoom=14
print(parse_qsl(parts.query))  # [('lat', '53.80'), ('zoom', '14')]

Làm các tên so sánh được với nhau

Cùng một ý có thể được viết là device_id trong phần thân và X-Device-Id trong một header (X- là một thói quen cũ cho "header tùy chỉnh"). Trước khi so sánh, hãy chuẩn hóa mọi tên: chữ thường, đổi - thành _, và bỏ một x_ ở đầu. Thế giới luyện tập cho bạn sẵn cái này dưới tên normalise_name:

from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id"))   # device_id

Các giá trị tới với những kiểu khác nhau (phần thân có các con số như 8412). Biến mọi giá trị thành một chuỗi bằng str(value), để chúng đều so sánh theo cùng một cách.

Cái gì được tính là cái gì

Thế giới luyện tập cũng cho bạn hai set các tên đã chuẩn hóa. IDENTIFIER_NAMES giữ các tên mang một ID cho bạn hay điện thoại của bạn (device_id, user_id, idfa, email_sha256 và vân vân). LOCATION_NAMES giữ các tên nói bạn đang ở đâu (lat, lon, city, postcode và vân vân).

ID quảng cáo bị đặt về không: khi bạn bảo một ứng dụng iPhone đừng theo dõi bạn, hoặc xóa advertising ID trên Android, các ứng dụng xin ID nhận được 00000000-0000-0000-0000-000000000000. Giá trị đó không xác định được ai, nên nó không được tính là một định danh. Nó nằm trong ZERO_AD_ID. Bài tiếp theo giải thích vì sao nó xuất hiện.

Bên thứ nhất hay không

Một yêu cầu là tới một SDK khi máy chủ của nó nằm trên một site khác với site riêng của ứng dụng. site_of từ watched cho site đó: site_of("cdn.fitfox.example") là "fitfox.example", và site_of("sdk.adco.example") là "adco.example".

Một hiểu lầm phổ biến

"Chỉ các yêu cầu tới tên miền lạ mới quan trọng." FitFox gửi nhịp tim và vị trí chính xác của bạn tới máy chủ riêng của nó, và một email được hash tới partners.fitfox.example. Cái cuối đó trông như bên thứ nhất, nhưng chỉ cái tên thôi không cho bạn biết ai vận hành nó. Cuộc kiểm toán của bạn sẽ không đánh dấu nó; bài tập tiếp theo sẽ đánh dấu.

Trong các ngôn ngữ khác

JavaScript: URL và URLSearchParams tách một URL.

function allFields(entry) {
  const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
  const out = [];
  for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
  for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
  for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
  return out;
}

Go: net/url làm cùng việc đó.

u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
    for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())

Tóm tắt

  • Dữ liệu trong một yêu cầu ẩn ở ba nơi: chuỗi truy vấn, các header và phần thân.
  • urlsplit và parse_qsl tách một URL; chuẩn hóa tên cho phép bạn so sánh chúng.
  • Một ID quảng cáo bị đặt về không không xác định được ai, nên nó không được tính.
  • So sánh site tìm ra phần lớn SDK, nhưng một cái tên trông như bên thứ nhất vẫn có thể do người khác vận hành.
Đến lượt bạn

Viết hai hàm.

  1. all_fields(entry) trả về một list các tuple (name, value) cho một mục nhật ký: trước hết mọi cặp trong chuỗi truy vấn của URL (theo thứ tự), rồi mọi header, rồi mọi phần tử của phần thân. Mỗi tên đi qua normalise_name, và mỗi giá trị trở thành một chuỗi bằng str(). Hãy tự viết cái này; đừng dùng fields_of của thế giới luyện tập.
  2. audit(entries, app_site) trả về một dict với ba khóa, mỗi khóa là một list đã sắp xếp không có phần lặp:
    • "sdk_hosts": mọi máy chủ (từ urlsplit(url).hostname) có site_of(host) không phải app_site;
    • "identifiers": mọi tên trường trong IDENTIFIER_NAMES xuất hiện với một giá trị thật (không phải ZERO_AD_ID và không rỗng);
    • "location": mọi tên trường trong LOCATION_NAMES xuất hiện.
Cuối cùng, chạy report = audit(fitness_app_log(), "fitfox.example") và in nó ra.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.