تدقيق تطبيق تجريبي
لماذا هذا مهم عملية التقاط حركة مرور البيانات هي قائمة طويلة وفوضوية. المهارة التي تحولها إلى شيء مفيد بسيطة: استخراج كل حقل، ثم فرزها إلى "من استلمها" و"ماذا كانت". ستكتب ذلك التدقيق لتطبيق لياقة بدنية تجريبي، والفكرة نفسها تعمل على أي سجل طلب مسموح لك بقراءته.
التقاط الممارسة
تطبيقنا التدريبي هو FitFox، وهو عداد خطوات وهمي وموقعه الخاص هو fitfox.example. يتم التقاطه كقائمة Python. كل عنصر هو طلب واحد، كما يقوم وكيل الاعتراض بتسجيله:
from watched.leg5b_apps import fitness_app_log
log = fitness_app_log()
print(len(log)) # 12
print(log[3])
# {'t': 3, 'device': 'phone', 'method': 'GET',
# 'url': 'https://sdk.adco.example/ad?idfa=00000000-0000-0000-0000-000000000000&slot=banner&lat=53.80&lon=-1.55',
# 'headers': {}, 'body': {}}
t هو عدد الثواني منذ فتح التطبيق. headers هو dict لرؤوس الطلبات. body هي البيانات التي أرسلها التطبيق، وهي مفككة مسبقا إلى dict (وهي فارغة لطلبات GET، التي تحمل بياناتها في العنوان).
SDK (software development kit): كود من شركة أخرى مدمج في تطبيق، للإعلانات، أو التحليلات، أو الخرائط، أو تقارير الأخطاء. في عملية الالتقاط، يظهر SDK كطلبات إلى نطاقات تلك الشركة.
ثلاثة أماكن تختبئ فيها البيانات
يمكن للتطبيق وضع قطعة من البيانات في ثلاثة أماكن، مثل الكتابة على الظرف، أو على ملاحظة لاصقة على الظرف، أو داخل الرسالة:
- سلسلة الاستعلام: الجزء من URL بعد
?، كأزواجname=valueمتصلة بـ&. - Headers: تسميات إضافية على الطلب، مثل
X-Device-Id: D-7F3A9C. - الجسم: البيانات الرئيسية لطلب
POST.
تقوم المكتبة القياسية في Python بتقسيم سلسلة الاستعلام نيابة عنك. urlsplitتقوم بتقسيم URL إلى أجزاء، و parse_qslتحول الاستعلام إلى قائمة من أزواج (name, value):
from urllib.parse import urlsplit, parse_qsl
parts = urlsplit("https://tiles.mapkit.example/v1/tile?lat=53.80&zoom=14")
print(parts.hostname) # tiles.mapkit.example
print(parts.query) # lat=53.80&zoom=14
print(parse_qsl(parts.query)) # [('lat', '53.80'), ('zoom', '14')]
جعل الأسماء قابلة للمقارنة
يمكن التعبير عن الفكرة نفسها بـ device_id في الجسم و X-Device-Id في الرأس (الـ X- هي عادة قديمة لـ "custom header"). قبل المقارنة، قم بتوحيد كل اسم: تحويله إلى حروف صغيرة، تحويل - إلى _، وحذف x_ في البداية. يعطيك عالم الممارسة هذا كـ normalise_name:
from watched.leg5b_apps import normalise_name
print(normalise_name("X-Device-Id")) # device_id
تأتي القيم بأنواع مختلفة (يحتوي الجسم على أرقام مثل 8412). حوّل كل قيمة إلى نص باستخدام str(value)، لكي تُقارن كلها بالطريقة نفسها.
ما الذي يعتبر ماذا
يعطيك عالم التدريب أيضاً مجموعتين من الأسماء المطبّعة. تحتوي IDENTIFIER_NAMES على الأسماء التي تحمل معرّفاً لك أو لهاتفك (device_id، user_id، idfa، email_sha256 وهكذا). وتحتوي LOCATION_NAMES على الأسماء التي تقول أين أنت (lat، lon، city، postcode وهكذا).
معرف الإعلان المصفّر : عندما تطلب من تطبيق iPhone عدم تتبعك، أو تحذف معرف الإعلان في Android، تحصل التطبيقات التي تطلب المعرف على 00000000-0000-0000-0000-000000000000. هذه القيمة لا تحدد أي شخص، لذا فهي لا تعد معرفا. إنها في ZERO_AD_ID. الدرس التالي يشرح سبب ظهورها.
طرف أول أم لا
طلبA هو إلى SDK عندما يكون مضيفه في موقع site مختلف عن موقع التطبيق نفسه. site_of من watched يعطي الموقع: site_of("cdn.fitfox.example") هو "fitfox.example"، و site_of("sdk.adco.example") هو "adco.example".
A مفهوم خاطئ شائع
"فقط الطلبات إلى النطاقات الغريبة تهم." يرسل FitFox معدل ضربات قلبك وموقعك الدقيق إلى خادمه الخاص، وبريداً إلكترونياً مشفراً إلى partners.fitfox.example. ذلك الأخير يبدو كطرف أول، لكن الاسم وحده لا يمكنه إخبارك بمن يديره. لن يكتشف تدقيقك ذلك؛ التمرين التالي سيفعل.
في لغات أخرى
JavaScript: URL و URLSearchParams يقومان بتقسيم URL.
function allFields(entry) {
const norm = n => n.toLowerCase().replaceAll("-", "_").replace(/^x_/, "");
const out = [];
for (const [k, v] of new URL(entry.url).searchParams) out.push([norm(k), v]);
for (const [k, v] of Object.entries(entry.headers)) out.push([norm(k), String(v)]);
for (const [k, v] of Object.entries(entry.body)) out.push([norm(k), String(v)]);
return out;
}
Go: يقوم net/url بنفس المهمة.
u, _ := url.Parse(rawURL)
for name, values := range u.Query() {
for _, v := range values { fmt.Println(name, v) }
}
fmt.Println(u.Hostname())
ملخص
- تختبئ البيانات في الطلب في ثلاثة أماكن: query string، وheaders، وbody. يقوم
urlsplitوparse_qslبتقسيم رابط URL؛ وتسمح لك عملية توحيد الأسماء بمقارنتها.- A معرف ad ID الصفري لا يحدد أحداً، لذا لا يتم احتسابه.
- مقارنة المواقع تجد معظم الـ SDKs، ولكن يمكن لشخص آخر تشغيل اسم يبدو تابعا للجهة الأولى.
اكتب دالتين.
- تعيد
all_fields(entry)قائمة من(name, value)tuples لإدخال سجل واحد: أولا كل زوج في query string الخاص بـ URL (بالترتيب)، ثم كل header، ثم كل body item. يمر كل اسم عبرnormalise_name، ويصبح كل قيمة string معstr(). اكتب هذا بنفسك؛ لا تستخدمfields_of. الخاص بـ practice world.
تعيد audit(entries, app_site)قاموسا يحتوي على ثلاثة مفاتيح، كل مفتاح هو قائمة مرتبة بدون تكرار:"sdk_hosts": كل مضيف (منurlsplit(url).hostname) الذيsite_of(host)ليسapp_site;"identifiers": كل اسم حقل فيIDENTIFIER_NAMESيظهر مع قيمة حقيقية (ليستZERO_AD_IDوليست فارغة)؛"location": كل اسم حقل فيLOCATION_NAMESيظهر.
report = audit(fitness_app_log(), "fitfox.example") واطبعه.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.