Prüfe eine Übungs-App
Warum das wichtig istEine Traffic-Capture ist eine lange, unordentliche Liste. Die Fähigkeit, sie in etwas Nützliches zu verwandeln, ist einfach: ziehe jedes Feld heraus und sortiere sie dann in "wer hat es erhalten" und "was war es". Du wirst dieses Audit für eine Übungs-Fitness-App schreiben, und dieselbe Idee funktioniert bei jedem Request-Log, den du lesen darfst.
Die Praxis der Erfassung
Unsere Übungs-App ist FitFox, ein fiktiver Schrittzähler, dessen eigene Seite fitfox.example ist. Ihre Erfassung ist eine Python list. Jeder Eintrag ist eine Anfrage, so wie ein Interception Proxy sie protokollieren würde:
from watched.leg5b_apps import fitness_app_log
log = fitness_app_log()
print(len(log)) # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
# 'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
# 'headers': {}, 'body': {}}
t sind Sekunden seit der App geöffnet wurde. headers ist ein dict von request headers. body sind die Daten, die die App gesendet hat, bereits dekodiert in ein dict (es ist leer für GET requests, die ihre Daten in der Adresse tragen).
SDK (software development kit): Code von einer anderen Firma, der in eine App eingebaut wurde, für Anzeigen, Analysen, Karten oder Absturzberichte. In einer Erfassung erscheint ein SDK als Anfragen an die Domains dieser Firma.
Drei Orte, an denen Daten sich verstecken
Eine App kann ein Datenstück an drei Stellen platzieren, wie das Schreiben auf dem Umschlag, auf einem Haftnotizzettel auf dem Umschlag oder im Brief:
- Der Query String: der Teil der URL nach
?, alsname=valuePaare, die durch&verbunden sind. - Headers: zusätzliche Labels auf der Anfrage, wie zum Beispiel
X-Device-Id: D-7F3A9C. - Der Body: die Hauptdaten einer
POSTAnfrage.
Die Standardbibliothek von Python teilt einen Query-String für dich auf. urlsplit zerlegt eine URL in Teile, und parse_qsl macht aus der Query eine Liste von (name, value) Paaren:
from urllib.parse import urlsplit, parse_qsl
parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname) # tiles.mapkit.example
print(parts.query) # lat=53.80&zoom=14
print(parse_qsl(parts.query)) # [('lat', '53.80'), ('zoom', '14')]
Namen vergleichbar machen
Die gleiche Idee kann in einem Body als device_id und in einem Header als X-Device-Id geschrieben werden (X- ist eine alte Gewohnheit für "custom header"). Bevor du vergleichst, normalisiere jeden Namen: Kleinschreibung, mache aus - ein _ und entferne ein führendes x_. Die Praxiswelt gibt dir das als normalise_name:
from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id")) # device_id
Werte kommen in verschiedenen Typen vor (der Körper hat Zahlen wie 8412). Wandle jeden Wert mit str(value) in einen String um, damit sie alle gleich verglichen werden.
Was zählt als was
Die Praxiswelt gibt dir auch zwei Sätze von normalisierten Namen. IDENTIFIER_NAMES enthält Namen, die eine ID für dich oder dein Telefon tragen (device_id, user_id, idfa, email_sha256 und so weiter). LOCATION_NAMES enthält Namen, die sagen, wo du bist (lat, lon, city, postcode und so weiter).
Zeroed ad ID: wenn du einer iPhone App sagst, dich nicht zu verfolgen, oder deine Android Werbe-ID löschst, erhalten Apps, die nach der ID fragen, 00000000-0000-0000-0000-000000000000. Dieser Wert identifiziert niemanden, also zählt er nicht als Identifikator. Er ist in ZERO_AD_ID. Die nächste Lektion erklärt, warum er erscheint.
Erste Partei oder nicht
A ist eine Anfrage an ein SDK, wenn sein Host auf einer anderen site als die der App selbst ist. site_of von watched gibt die Seite an: site_of("cdn.fitfox.example") ist "fitfox.example", und site_of("sdk.adco.example") ist "adco.example".
Ein häufiges Missverständnis
"Nur Anfragen an seltsame Domains zählen." FitFox sendet deine Herzfrequenz und deine genaue Position an seinen eigenen Server und eine gehashte E-Mail an partners.fitfox.example. Letztere sieht nach einer First-Party-Anfrage aus, aber der Name allein kann dir nicht sagen, wer sie betreibt. Dein Audit wird sie nicht markieren; die nächste Übung wird es.
In anderen Sprachen
JavaScript: URL und URLSearchParams teilen eine URL.
function allFields(entry) {
const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
const out = [];
for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
return out;
}
Go: net/url macht den gleichen Job.
u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())
Zusammenfassung
- Daten in einer Anfrage verstecken sich an drei Stellen: der query string, den headers und dem body.
urlsplitundparse_qslteilen eine URL; das Normalisieren von Namen lässt dich sie vergleichen.- A eine nullgestellte ad ID identifiziert niemanden, also wird sie nicht gezählt.
- Der Vergleich von Seiten findet die meisten SDKs, aber ein Name, der wie eine First-Party-Quelle aussieht, kann immer noch von jemand anderem ausgeführt werden.
Schreibe zwei Funktionen.
all_fields(entry)gibt eine Liste von(name, value)Tupeln für einen Log-Eintrag zurück: zuerst jedes Paar in der Query String der URL (in der Reihenfolge), dann jeden Header, dann jedes Body-Element. Jeder Name geht durchnormalise_name, und jeder Wert wird zu einem String mitstr(). Schreibe dies selbst; benutze nichtfields_of. der Übungswelt.
audit(entries, app_site)gibt ein Dictionary mit drei Schlüsseln zurück, wobei jeder eine sortierte Liste ohne Wiederholungen ist:"sdk_hosts": jeder Host (vonurlsplit(url).hostname), dessensite_of(host)nichtapp_siteist;"identifiers": jeder Feldname inIDENTIFIER_NAMES, der mit einem echten Wert erscheint (nichtZERO_AD_IDund nicht leer);"location": jeder Feldname inLOCATION_NAMES, der erscheint.
report = audit(fitness_app_log(), "fitfox.example") aus und drucke es aus.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.