シラバス レッスン 156 中 109 · アプリと端末
アプリと端末

練習用のアプリを点検する

なぜ大切か 通信の記録は、長くごちゃごちゃした一覧です。それを役に立つものに変える技は単純です。すべての欄を取り出し、「誰が受け取ったか」と「それが何だったか」に分けるのです。練習用のフィットネスのアプリについてその点検を書きますが、同じ考えは、読むことを許されたどのリクエストのログにも使えます。

練習用の記録

練習用のアプリは FitFox で、自分のサイトが fitfox.example の、作りものの歩数計です。その記録は Python のリストです。それぞれの項目は、傍受のプロキシが記録するようなひとつのリクエストです:

from watched.leg5b_apps import fitness_app_log

log = fitness_app_log()
print(len(log))      # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
#  'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
#  'headers': {}, 'body': {}}

t はアプリが開いてからの秒数です。headers はリクエストのヘッダーの辞書です。body はアプリが送ったデータで、すでに辞書に解読されています(GET のリクエストはアドレスでデータを運ぶので、空です)。

SDK(ソフトウェア開発キット):広告、分析、地図、クラッシュの報告のために、アプリに組み込まれたほかの会社のコードです。記録の中では、SDK はその会社のドメインへのリクエストとして現れます。

データが隠れる 3 つの場所

アプリはひとつのデータを 3 つの場所に置けます。封筒に書く、封筒に付箋を貼る、手紙に書く、というようなものです:

  1. クエリ文字列:URL の ? のあとの部分で、& でつないだ name=value の組です。
  2. ヘッダー:X-Device-Id: D-7F3A9C のような、リクエストに付いた追加のラベルです。
  3. ボディ:POST のリクエストの主なデータです。

Python の標準ライブラリがクエリ文字列を分けてくれます。urlsplit は URL を部分に分け、parse_qsl はクエリを (name, value) の組のリストに変えます:

from urllib.parse import urlsplit, parse_qsl

parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname)          # tiles.mapkit.example
print(parts.query)             # lat=53.80&zoom=14
print(parse_qsl(parts.query))  # [('lat', '53.80'), ('zoom', '14')]

名前を比べられるようにする

同じ考えが、ボディでは device_id、ヘッダーでは X-Device-Id とつづられることがあります(X- は「独自のヘッダー」を表す古い習慣です)。比べる前に、すべての名前を正規化します。小文字にし、- を _ に変え、先頭の x_ を外します。練習の世界はこれを normalise_name として渡してくれます:

from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id"))   # device_id

値はいろいろな型で来ます(ボディには 8412 のような数があります)。すべて同じように比べられるよう、str(value) でどの値も文字列にしてください。

何が何に数えられるか

練習の世界は、正規化した名前の集合も 2 つ渡してくれます。IDENTIFIER_NAMES は、あなたや電話の ID を運ぶ名前(device_id、user_id、idfa、email_sha256 など)を持ちます。LOCATION_NAMES は、あなたがどこにいるかを言う名前(lat、lon、city、postcode など)を持ちます。

ゼロにされた広告 ID:iPhone のアプリに追跡しないよう伝えたり、Android の広告 ID を消したりすると、ID を求めるアプリは 00000000-0000-0000-0000-000000000000 を受け取ります。その値は誰も特定しないので、識別子には数えません。ZERO_AD_ID に入っています。なぜそれが現れるかは次のレッスンで説明します。

ファーストパーティかどうか

リクエストのホストがアプリ自身のものと違う サイト にあれば、そのリクエストは SDK へのものです。watched の site_of がサイトを返します:site_of("cdn.fitfox.example") は "fitfox.example"、site_of("sdk.adco.example") は "adco.example" です。

よくある誤解

「大事なのは見慣れないドメインへのリクエストだけだ」。FitFox は心拍数と正確な位置を自分のサーバーに送り、ハッシュにしたメールを partners.fitfox.example に送ります。最後のものはファーストパーティに見えますが、名前だけでは誰が運営しているかはわかりません。あなたの点検はそれに印を付けませんが、次の練習が付けます。

ほかの言語では

JavaScript:URL と URLSearchParams が URL を分けます。

function allFields(entry) {
  const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
  const out = [];
  for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
  for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
  for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
  return out;
}

Go:net/url が同じ仕事をします。

u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
    for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())

まとめ

  • リクエストの中のデータは 3 つの場所に隠れます:クエリ文字列、ヘッダー、ボディ。
  • urlsplit と parse_qsl が URL を分けます。名前を正規化すると比べられるようになります。
  • ゼロにされた広告 ID は誰も特定しないので、数えません。
  • サイトを比べればほとんどの SDK が見つかりますが、ファーストパーティに見える名前でも、ほかの誰かが運営していることがあります。
あなたの番

2 つの関数を書いてください。

  1. all_fields(entry) は、ひとつのログの項目について (name, value) のタプルのリストを返します。まず URL のクエリ文字列のすべての組(順番どおり)、次にすべてのヘッダー、次にすべてのボディの項目です。どの名前も normalise_name を通し、どの値も str() で文字列にします。これは自分で書いてください。練習の世界の fields_of は使わないこと。
  2. audit(entries, app_site) は 3 つのキーを持つ辞書を返し、どれも 重複のない並べたリスト です:
    • "sdk_hosts":site_of(host) が app_site でない、すべてのホスト(urlsplit(url).hostname から)。
    • "identifiers":本物の値(ZERO_AD_ID でも空でもない)と一緒に現れる、IDENTIFIER_NAMES のすべての欄の名前。
    • "location":現れる、LOCATION_NAMES のすべての欄の名前。
最後に report = audit(fitness_app_log(), "fitfox.example") を動かして表示してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。