練習用のアプリを点検する
なぜ大切か 通信の記録は、長くごちゃごちゃした一覧です。それを役に立つものに変える技は単純です。すべての欄を取り出し、「誰が受け取ったか」と「それが何だったか」に分けるのです。練習用のフィットネスのアプリについてその点検を書きますが、同じ考えは、読むことを許されたどのリクエストのログにも使えます。
練習用の記録
練習用のアプリは FitFox で、自分のサイトが fitfox.example の、作りものの歩数計です。その記録は Python のリストです。それぞれの項目は、傍受のプロキシが記録するようなひとつのリクエストです:
from watched.leg5b_apps import fitness_app_log
log = fitness_app_log()
print(len(log)) # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
# 'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
# 'headers': {}, 'body': {}}
t はアプリが開いてからの秒数です。headers はリクエストのヘッダーの辞書です。body はアプリが送ったデータで、すでに辞書に解読されています(GET のリクエストはアドレスでデータを運ぶので、空です)。
SDK(ソフトウェア開発キット):広告、分析、地図、クラッシュの報告のために、アプリに組み込まれたほかの会社のコードです。記録の中では、SDK はその会社のドメインへのリクエストとして現れます。
データが隠れる 3 つの場所
アプリはひとつのデータを 3 つの場所に置けます。封筒に書く、封筒に付箋を貼る、手紙に書く、というようなものです:
- クエリ文字列:URL の
?のあとの部分で、&でつないだname=valueの組です。 - ヘッダー:
X-Device-Id: D-7F3A9Cのような、リクエストに付いた追加のラベルです。 - ボディ:
POSTのリクエストの主なデータです。
Python の標準ライブラリがクエリ文字列を分けてくれます。urlsplit は URL を部分に分け、parse_qsl はクエリを (name, value) の組のリストに変えます:
from urllib.parse import urlsplit, parse_qsl
parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname) # tiles.mapkit.example
print(parts.query) # lat=53.80&zoom=14
print(parse_qsl(parts.query)) # [('lat', '53.80'), ('zoom', '14')]
名前を比べられるようにする
同じ考えが、ボディでは device_id、ヘッダーでは X-Device-Id とつづられることがあります(X- は「独自のヘッダー」を表す古い習慣です)。比べる前に、すべての名前を正規化します。小文字にし、- を _ に変え、先頭の x_ を外します。練習の世界はこれを normalise_name として渡してくれます:
from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id")) # device_id
値はいろいろな型で来ます(ボディには 8412 のような数があります)。すべて同じように比べられるよう、str(value) でどの値も文字列にしてください。
何が何に数えられるか
練習の世界は、正規化した名前の集合も 2 つ渡してくれます。IDENTIFIER_NAMES は、あなたや電話の ID を運ぶ名前(device_id、user_id、idfa、email_sha256 など)を持ちます。LOCATION_NAMES は、あなたがどこにいるかを言う名前(lat、lon、city、postcode など)を持ちます。
ゼロにされた広告 ID:iPhone のアプリに追跡しないよう伝えたり、Android の広告 ID を消したりすると、ID を求めるアプリは 00000000-0000-0000-0000-000000000000 を受け取ります。その値は誰も特定しないので、識別子には数えません。ZERO_AD_ID に入っています。なぜそれが現れるかは次のレッスンで説明します。
ファーストパーティかどうか
リクエストのホストがアプリ自身のものと違う サイト にあれば、そのリクエストは SDK へのものです。watched の site_of がサイトを返します:site_of("cdn.fitfox.example") は "fitfox.example"、site_of("sdk.adco.example") は "adco.example" です。
よくある誤解
「大事なのは見慣れないドメインへのリクエストだけだ」。FitFox は心拍数と正確な位置を自分のサーバーに送り、ハッシュにしたメールを partners.fitfox.example に送ります。最後のものはファーストパーティに見えますが、名前だけでは誰が運営しているかはわかりません。あなたの点検はそれに印を付けませんが、次の練習が付けます。
ほかの言語では
JavaScript:URL と URLSearchParams が URL を分けます。
function allFields(entry) {
const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
const out = [];
for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
return out;
}
Go:net/url が同じ仕事をします。
u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())
まとめ
- リクエストの中のデータは 3 つの場所に隠れます:クエリ文字列、ヘッダー、ボディ。
urlsplitとparse_qslが URL を分けます。名前を正規化すると比べられるようになります。- ゼロにされた広告 ID は誰も特定しないので、数えません。
- サイトを比べればほとんどの SDK が見つかりますが、ファーストパーティに見える名前でも、ほかの誰かが運営していることがあります。
2 つの関数を書いてください。
all_fields(entry)は、ひとつのログの項目について(name, value)のタプルのリストを返します。まず URL のクエリ文字列のすべての組(順番どおり)、次にすべてのヘッダー、次にすべてのボディの項目です。どの名前もnormalise_nameを通し、どの値もstr()で文字列にします。これは自分で書いてください。練習の世界のfields_ofは使わないこと。audit(entries, app_site)は 3 つのキーを持つ辞書を返し、どれも 重複のない並べたリスト です:"sdk_hosts":site_of(host)がapp_siteでない、すべてのホスト(urlsplit(url).hostnameから)。"identifiers":本物の値(ZERO_AD_IDでも空でもない)と一緒に現れる、IDENTIFIER_NAMESのすべての欄の名前。"location":現れる、LOCATION_NAMESのすべての欄の名前。
report = audit(fitness_app_log(), "fitfox.example") を動かして表示してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。